# Czyszczenie i jakość
EN: **Data cleaning and quality** · id `cleaning`
Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › Czyszczenie i jakość
## Description
- PL: Usuwanie błędów, duplikatów i niepożądanych przykładów.
- EN: Removing errors, duplicates and unwanted examples.
## In one sentence
- PL: To poprawianie materiałów używanych przez model i usuwanie przykładów, które przeszkadzają w nauce.
- EN: This fixes material used by a model and removes examples that get in the way of learning.
## Problem it solves
- PL: Błędy, kopie i przypadkowe treści w danych mogą prowadzić do mylących odpowiedzi modelu.
- EN: Mistakes, duplicates and irrelevant material in the data can lead to misleading model answers.
## What it does
- PL: Sprawdza zawartość zbioru, wykrywa podejrzane przypadki i stosuje ustalone reguły poprawiania albo odrzucania materiałów.
- EN: It checks the collection, flags suspicious examples and applies chosen rules for correcting or rejecting material.
## Everyday example
- PL: Przed uczeniem asystenta porządkujesz archiwum zgłoszeń: usuwasz kopie, puste wiadomości i wpisy z błędnymi oznaczeniami.
- EN: Before training an assistant, you clean a request archive by removing copies, empty messages and incorrectly labelled entries.
## This concerns you if you…
- PL: korzystasz z danych z wielu niesprawdzonych źródeł
- PL: model uczy się na błędnych lub powtarzających się przykładach
- EN: use data from several unchecked sources
- EN: have a model learning from faulty or repetitive examples
## Keywords
schema validation · quality rules · duplicate removal · outlier detection · label noise detection · language identification · boilerplate removal · data profiling
## How it works
- PL: Kontrole schematu, rozkładów i podobieństwa wykrywają błędy oraz niepożądane powtórzenia. Reguły naprawy lub odrzucania próbek zapisuje się jako powtarzalne transformacje i sprawdza ich wpływ na reprezentację grup.
- EN: Schema, distribution and similarity checks detect errors and unwanted repetition. Repair or rejection rules are recorded as repeatable transformations, and their effects on group representation are checked.
## Limits
- PL: Agresywne filtry mogą usunąć rzadkie, lecz ważne przypadki. Reguły muszą rozróżniać rzeczywisty błąd od nietypowych danych i być dopasowane do celu modelu.
- EN: Aggressive filters may remove rare but important cases. Rules must distinguish genuine errors from unusual data and fit the model's objective.
## Key terms
- PL: **wartość odstająca**: Obserwacja znacznie różniąca się od większości próbek.
- PL: **reguła jakości**: Warunek decydujący o zaakceptowaniu, naprawie lub odrzuceniu próbki.
- EN: **outlier**: An observation that differs substantially from most samples.
- EN: **quality rule**: A condition determining whether to accept, repair or reject a sample.
## Know first
- [Walidacja i testy danych (Data validation and testing)](https://aiatlasgraph.com/t/datavalidation.md)
## Examples
- PL: Filtrowanie · deduplikacja
- EN: Filtering · deduplication
## Subtopics (6 direct, 7 in total)
- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md): Removing duplicates and near-duplicates, and cutting training examples that overlap with test sets.
- [Deduplikacja semantyczna (po embeddingach) (Semantic deduplication with embeddings)](https://aiatlasgraph.com/t/semanticdedup.md): Removing semantic near-duplicates by clustering embeddings from a pretrained model and pruning pairs above a similarity threshold.
- [Ekstrakcja tekstu ze stron i PDF (Text extraction from HTML and PDFs)](https://aiatlasgraph.com/t/textextraction.md): Pulling the actual content out of raw pages and documents: removing menus, footers and ads, turning PDFs (including scans) into clean text while keeping structure.
- [Filtrowanie jakości (heurystyki i klasyfikatory) (Quality filtering with heuristics and classifiers)](https://aiatlasgraph.com/t/qualityfiltering.md): Dropping weak documents before training — first with simple rules, then with a model that scores how valuable a text is (e.g. educationally).
- [Filtrowanie szkodliwych treści tekstowych w danych treningowych (Harmful text filtering in training data)](https://aiatlasgraph.com/t/contentsafetyfiltering.md): Classifier- and rule-based removal of toxic, hateful and sexual content from text pretraining corpora.
- [Niezbalansowane klasy i wartości odstające (Class imbalance and outliers)](https://aiatlasgraph.com/t/classimbalance.md): Spotting and handling data where one class dominates or unusual examples appear, before they distort training and evaluation.
- [Wykrywanie błędnych etykiet (Label error detection)](https://aiatlasgraph.com/t/labelerrors.md): Automatically finding examples that probably carry a wrong label, using model predictions, instead of reviewing the whole dataset by hand.
## Related topics
Untyped, symmetric "see also" links.
- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)
- [Przygotowanie cech (feature engineering) (Feature engineering and preprocessing)](https://aiatlasgraph.com/t/featureeng.md)
- [Uzupełnianie brakujących danych (imputacja) (Missing data imputation)](https://aiatlasgraph.com/t/missingimputation.md)
- [Wykrywanie i anonimizacja danych osobowych (PII) (PII detection and anonymisation)](https://aiatlasgraph.com/t/piiredaction.md)
## Sources
- [Full Stack Deep Learning (2022, archiwum)]() `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [Stanford CS336 · Language Modeling from Scratch (2025)]() `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
- [DeepLearning.AI — course catalogue]() `dlai` · course catalogue: 42 topic labels with counts, about 130 courses.
---
AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/cleaning · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30