Filtrowanie jakości (heurystyki i klasyfikatory)

Quality filtering with heuristics and classifiers · id qualityfiltering · aliases: quality filter, model-based filtering, FineWeb-Edu

Odrzucanie słabych dokumentów przed treningiem — najpierw prostymi regułami, potem modelem, który ocenia wartość tekstu (np. edukacyjną).

Dropping weak documents before training — first with simple rules, then with a model that scores how valuable a text is (e.g. educationally).

In one sentence

To wybieranie tekstów dostatecznie przydatnych i czytelnych, żeby nadawały się do nauki modelu.

This selects text useful and readable enough to help train a model.

Problem it solves

Zebrane materiały zawierają spam, urwane zdania lub puste treści, które zajmują czas nauki.

Collected material includes spam, broken sentences or empty content that wastes learning time.

What it does

Proste reguły wychwytują oczywiste problemy, a osobny model może oceniać wartość pozostałych tekstów.

Simple rules catch obvious problems, while a separate model can assess the value of the remaining text.

Everyday example

Z archiwum stron odrzucasz teksty pełne powtórzeń i sprawdzasz, które pozostałe materiały zawierają użyteczne wyjaśnienia.

You discard repetitive text from a page archive and check which remaining material contains useful explanations.

This concerns you if you…

Examples

Related topics

Sources