Klasyfikacja języka i pisma dokumentów korpusu oraz dobór progów, filtrów i proporcji osobno dla każdego języka.
Classifying each document's language and script, then setting thresholds, filters and proportions separately for every language.
Automatyczne sprawdzanie, w jakim języku jest każdy tekst, żeby zbudować zbiory danych dla wielu języków, także tych rzadkich.
Automatically checking which language each text is in, to build datasets for many languages, including rare ones.
Teksty w rzadkich językach giną wśród angielskich albo są źle oznaczone, więc model słabo mówi w językach mniejszych społeczności.
Texts in rare languages get lost among English ones or are mislabelled, so models speak smaller communities' languages poorly.
Jak sortownia listów: każdy dokument trafia do przegródki swojego języka, a każda przegródka ma własne progi pewności i jakości.
Like a mail sorting room: each document goes to its language's pigeonhole, and every pigeonhole has its own confidence and quality bars.
Asystent, który rozumie pytanie w języku regionalnym, zamiast odpowiadać tak, jakby był to język sąsiedniego kraju.
An assistant that understands a question in a regional language instead of treating it as a neighbouring country's language.