Budowa powtarzalnych potoków, które czytają, filtrują, deduplikują i tokenizują biliony tokenów równolegle na wielu maszynach.
Building repeatable pipelines that read, filter, deduplicate and tokenise trillions of tokens in parallel across many machines.
To przygotowywanie ogromnych zbiorów danych przez dzielenie pracy między wiele komputerów.
This prepares very large data collections by sharing the work across several computers.
Całe archiwum nie mieści się na jednym komputerze lub jego przetwarzanie trwa zbyt długo.
The archive does not fit on one computer, or processing it there takes too long.
Dzieli zbiór na części, przetwarza je równolegle i zapisuje postępy, żeby po awarii wznowić niedokończone zadania.
It divides the collection into parts, processes them in parallel and saves progress so unfinished tasks can resume after a failure.
Przygotowujesz archiwum stron do nauki modelu; różne komputery czyszczą osobne części, a przerwane fragmenty można przetworzyć ponownie.
You prepare a page archive for model training; different computers clean separate parts, and interrupted sections can be processed again.