# Przetwarzanie danych na dużą skalę

EN: **Large-scale data processing** · id `largescaleprocessing` · aliases: datatrove, data processing pipeline

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Pipeline’y i wersjonowanie](https://aiatlasgraph.com/t/pipelines.md) › Przetwarzanie danych na dużą skalę

## Description

- PL: Budowa powtarzalnych potoków, które czytają, filtrują, deduplikują i tokenizują biliony tokenów równolegle na wielu maszynach.
- EN: Building repeatable pipelines that read, filter, deduplicate and tokenise trillions of tokens in parallel across many machines.

## In one sentence

- PL: To przygotowywanie ogromnych zbiorów danych przez dzielenie pracy między wiele komputerów.
- EN: This prepares very large data collections by sharing the work across several computers.

## Problem it solves

- PL: Całe archiwum nie mieści się na jednym komputerze lub jego przetwarzanie trwa zbyt długo.
- EN: The archive does not fit on one computer, or processing it there takes too long.

## What it does

- PL: Dzieli zbiór na części, przetwarza je równolegle i zapisuje postępy, żeby po awarii wznowić niedokończone zadania.
- EN: It divides the collection into parts, processes them in parallel and saves progress so unfinished tasks can resume after a failure.

## Everyday example

- PL: Przygotowujesz archiwum stron do nauki modelu; różne komputery czyszczą osobne części, a przerwane fragmenty można przetworzyć ponownie.
- EN: You prepare a page archive for model training; different computers clean separate parts, and interrupted sections can be processed again.

## This concerns you if you…

- PL: zebrane materiały przerastają możliwości jednego komputera
- PL: chcesz wznawiać przygotowanie danych po awarii
- EN: have more material than one computer can handle
- EN: want data preparation to resume after a failure

## Keywords

datatrove · Ray · Slurm · dataset sharding · distributed processing · checkpoint recovery

## How it works

- PL: Dane dzieli się na shardy przetwarzane równolegle przez niezależne zadania. Checkpointy, deterministyczne transformacje i kontrola zapisów umożliwiają wznawianie po awarii oraz łączenie wyników bez zbędnych duplikatów.
- EN: Data is partitioned into shards processed in parallel by independent jobs. Checkpoints, deterministic transformations and controlled writes allow recovery after failures and merging results without unnecessary duplicates.

## Limits

- PL: Wąskim gardłem bywają odczyt, transfer i nierówna wielkość shardów. Globalna deduplikacja wymaga wymiany informacji; większa liczba maszyn nie usuwa kosztu koordynacji.
- EN: Reading, transfer and uneven shard sizes can bottleneck processing. Global deduplication requires information exchange; adding machines does not remove coordination costs.

## Key terms

- PL: **shard**: Fragment zbioru przeznaczony do oddzielnego przechowywania lub przetwarzania.
- PL: **checkpoint**: Zapis stanu pozwalający wznowić pracę po przerwaniu.
- EN: **shard**: A dataset partition stored or processed separately.
- EN: **checkpoint**: A saved state allowing work to resume after interruption.

## Know first

- [Wersjonowanie zbiorów danych (Dataset versioning)](https://aiatlasgraph.com/t/dataversioning.md)
- [Walidacja i testy danych (Data validation and testing)](https://aiatlasgraph.com/t/datavalidation.md)

## Examples

- PL: datatrove · Slurm i Ray · dzielenie na shardy · wznawianie po awarii
- EN: datatrove · Slurm and Ray · sharding · resuming after failures

## Related topics

Untyped, symmetric "see also" links.

- [Deduplikacja i dekontaminacja (Deduplication and decontamination)](https://aiatlasgraph.com/t/dedup.md)
- [Strumieniowe, shardowane zbiory treningowe (Streaming sharded training datasets)](https://aiatlasgraph.com/t/streamingdatasets.md)

## Sources

- [Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research](<https://arxiv.org/abs/2402.00159>) `dolma-2024` · by Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar i in. (26 autorów)
- [datatrove — repository (README)](<https://github.com/huggingface/datatrove>) `datatrove-github` · by Hugging Face

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/largescaleprocessing · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30