Czyszczenie i jakość

Data cleaning and quality · id cleaning

Usuwanie błędów, duplikatów i niepożądanych przykładów.

Removing errors, duplicates and unwanted examples.

In one sentence

To poprawianie materiałów używanych przez model i usuwanie przykładów, które przeszkadzają w nauce.

This fixes material used by a model and removes examples that get in the way of learning.

Problem it solves

Błędy, kopie i przypadkowe treści w danych mogą prowadzić do mylących odpowiedzi modelu.

Mistakes, duplicates and irrelevant material in the data can lead to misleading model answers.

What it does

Sprawdza zawartość zbioru, wykrywa podejrzane przypadki i stosuje ustalone reguły poprawiania albo odrzucania materiałów.

It checks the collection, flags suspicious examples and applies chosen rules for correcting or rejecting material.

Everyday example

Przed uczeniem asystenta porządkujesz archiwum zgłoszeń: usuwasz kopie, puste wiadomości i wpisy z błędnymi oznaczeniami.

Before training an assistant, you clean a request archive by removing copies, empty messages and incorrectly labelled entries.

This concerns you if you…

• korzystasz z danych z wielu niesprawdzonych źródeł
• model uczy się na błędnych lub powtarzających się przykładach
• use data from several unchecked sources
• have a model learning from faulty or repetitive examples

Examples

• Filtrowanie · deduplikacja
• Filtering · deduplication

Subtopics

• Deduplikacja i dekontaminacja (Deduplication and decontamination): Removing duplicates and near-duplicates, and cutting training examples that overlap with test sets.
  • Deduplikacja semantyczna (po embeddingach) (Semantic deduplication with embeddings): Removing semantic near-duplicates by clustering embeddings from a pretrained model and pruning pairs above a similarity threshold.
• Ekstrakcja tekstu ze stron i PDF (Text extraction from HTML and PDFs): Pulling the actual content out of raw pages and documents: removing menus, footers and ads, turning PDFs (including scans) into clean text while keeping structure.
• Filtrowanie jakości (heurystyki i klasyfikatory) (Quality filtering with heuristics and classifiers): Dropping weak documents before training — first with simple rules, then with a model that scores how valuable a text is (e.g. educationally).
• Filtrowanie szkodliwych treści tekstowych w danych treningowych (Harmful text filtering in training data): Classifier- and rule-based removal of toxic, hateful and sexual content from text pretraining corpora.
• Niezbalansowane klasy i wartości odstające (Class imbalance and outliers): Spotting and handling data where one class dominates or unusual examples appear, before they distort training and evaluation.
• Wykrywanie błędnych etykiet (Label error detection): Automatically finding examples that probably carry a wrong label, using model predictions, instead of reviewing the whole dataset by hand.

Related topics

• Modele nagrody (Reward models)
• Przygotowanie cech (feature engineering) (Feature engineering and preprocessing)
• Uzupełnianie brakujących danych (imputacja) (Missing data imputation)
• Wykrywanie i anonimizacja danych osobowych (PII) (PII detection and anonymisation)

Sources

• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.