# Filtrowanie jakości (heurystyki i klasyfikatory)

EN: **Quality filtering with heuristics and classifiers** · id `qualityfiltering` · aliases: quality filter, model-based filtering, FineWeb-Edu

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Czyszczenie i jakość](https://aiatlasgraph.com/t/cleaning.md) › Filtrowanie jakości (heurystyki i klasyfikatory)

## Description

- PL: Odrzucanie słabych dokumentów przed treningiem — najpierw prostymi regułami, potem modelem, który ocenia wartość tekstu (np. edukacyjną).
- EN: Dropping weak documents before training — first with simple rules, then with a model that scores how valuable a text is (e.g. educationally).

## In one sentence

- PL: To wybieranie tekstów dostatecznie przydatnych i czytelnych, żeby nadawały się do nauki modelu.
- EN: This selects text useful and readable enough to help train a model.

## Problem it solves

- PL: Zebrane materiały zawierają spam, urwane zdania lub puste treści, które zajmują czas nauki.
- EN: Collected material includes spam, broken sentences or empty content that wastes learning time.

## What it does

- PL: Proste reguły wychwytują oczywiste problemy, a osobny model może oceniać wartość pozostałych tekstów.
- EN: Simple rules catch obvious problems, while a separate model can assess the value of the remaining text.

## Everyday example

- PL: Z archiwum stron odrzucasz teksty pełne powtórzeń i sprawdzasz, które pozostałe materiały zawierają użyteczne wyjaśnienia.
- EN: You discard repetitive text from a page archive and check which remaining material contains useful explanations.

## This concerns you if you…

- PL: zbierasz teksty o nierównej jakości
- PL: chcesz ograniczyć naukę na spamie i pustych treściach
- EN: collect text of varying quality
- EN: want less learning time spent on spam and empty content

## Keywords

FineWeb-Edu · DCLM · language identification · repetition filters · perplexity filtering · quality classifiers

## How it works

- PL: Reguły oceniają strukturę, język i powtórzenia dokumentu, a klasyfikatory szacują wybraną cechę jakości. Kolejne filtry odrzucają próbki, po czym analizuje się skład pozostałego korpusu i wyniki treningu.
- EN: Rules inspect document structure, language and repetition, while classifiers estimate a selected quality property. Successive filters reject samples, followed by analysis of the retained corpus and training results.

## Limits

- PL: Definicja jakości zależy od zadania. Filtry mogą faworyzować dominujące języki i styl, usuwać materiał specjalistyczny lub zachowywać tekst poprawny językowo, lecz fałszywy.
- EN: Quality is task-dependent. Filters may favour dominant languages and styles, remove specialist material or retain fluent but false text.

## Key terms

- PL: **heurystyka**: Prosta reguła przybliżająca ocenę bez pełnego rozumienia treści.
- PL: **próg odrzucenia**: Wartość oceny, poniżej której próbka nie trafia do korpusu.
- EN: **heuristic**: A simple rule approximating assessment without fully understanding content.
- EN: **rejection threshold**: A score below which a sample is excluded from the corpus.

## Know first

- [Zbiory testowe i regresje (Evaluation datasets and regression tests)](https://aiatlasgraph.com/t/evalsets.md)
- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)

## Examples

- PL: Reguły długości i powtórzeń · identyfikacja języka · klasyfikator „edukacyjności” (FineWeb-Edu) · filtr DCLM
- EN: Length and repetition rules · language ID · educational-value classifier (FineWeb-Edu) · DCLM filter

## Related topics

Untyped, symmetric "see also" links.

- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md)
- [Filtrowanie par obraz–tekst (Image–text pair filtering)](https://aiatlasgraph.com/t/imagetextfiltering.md)
- [Selekcja i proporcje danych (Data selection and mixing)](https://aiatlasgraph.com/t/dataselection.md)

## Sources

- [The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale](<https://arxiv.org/abs/2406.17557>) `fineweb-2024` · by Guilherme Penedo, Hynek Kydlíček, Loubna Ben allal, Anton Lozhkov, Margaret Mitchell, Colin Raffel, Leandro Von Werra, Thomas Wolf
- [DataComp-LM: In search of the next generation of training sets for language models](<https://arxiv.org/abs/2406.11794>) `dclm-2024` · by Jeffrey Li, Alex Fang, Georgios Smyrnis, Maor Ivgi, Matt Jordan, Samir Gadre, Hritik Bansal, Etash Guha, Sedrick Keh, Kushal Arora i in. (51 autorów)
- [The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only](<https://arxiv.org/abs/2306.01116>) `refinedweb-2023` · by Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza Alobeidli, Baptiste Pannier, Ebtesam Almazrouei, Julien Launay
- [Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research](<https://arxiv.org/abs/2402.00159>) `dolma-2024` · by Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar i in. (26 autorów)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/qualityfiltering · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30