Kuracja korpusów pretrainingowych pod konkretną domenę lub język: dedykowana ekstrakcja, identyfikacja domeny i języka, filtry jakości i udział w mieszance.
Curating pretraining corpora for a specific domain or language: dedicated extraction, domain and language identification, quality filters and mixture share.
Przygotowanie osobnych zbiorów tekstów z wybranych dziedzin, jak kod, matematyka czy rzadkie języki, żeby model dobrze je opanował.
Building separate text collections for specific fields, such as code, maths or rarer languages, so a model learns them well.
Ogólne zbiory tekstów z internetu gubią wzory, psują kod i mają mało treści w mniejszych językach, więc model słabo sobie z nimi radzi.
General web text loses formulas, mangles code and holds little in smaller languages, so models handle these poorly.
Każda dziedzina dostaje własne sito: inne reguły wydobywania treści, inne progi jakości i osobne sprawdzenie, czy tekst w ogóle do niej należy.
Each field gets its own sieve: different rules for pulling out content, different quality bars and a separate check that the text belongs there.
Asystent, który poprawnie zapisuje wzory matematyczne i rozumie pytanie zadane po polsku, a nie tylko po angielsku.
An assistant that writes maths formulas correctly and understands a question asked in Polish, not only in English.