# Dane do treningu długiego kontekstu

EN: **Long-context training data** · id `longcontextdata` · aliases: long-context data engineering, long-document data mixture

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Korpusy domenowe dla modeli językowych](https://aiatlasgraph.com/t/domaincorpora.md) › Dane do treningu długiego kontekstu

## Description

- PL: Mieszanka danych do ciągłego pretrainingu rozszerzającego kontekst: zbalansowane domeny z podwyższonym udziałem długich dokumentów.
- EN: Data mixtures for context-extending continual pretraining: balanced domains with a raised share of long documents.

## In one sentence

- PL: Dobór długich dokumentów do dalszego treningu modelu, żeby umiał korzystać z informacji z całego bardzo długiego pliku lub rozmowy.
- EN: Choosing long documents for further training so a model can use information from an entire very long file or conversation.

## Problem it solves

- PL: Model z dużym oknem kontekstu i tak przeoczy informację ukrytą w środku długiego dokumentu, jeśli nie ćwiczył na takich tekstach.
- EN: A model with a big context window still misses facts buried mid-document if it never practised on such texts.

## What it does

- PL: Dokłada do mieszanki więcej długich tekstów z różnych dziedzin, nie tylko książek, i zachowuje dotychczasowe proporcje tematów.
- EN: It adds more long texts from many fields, not just books, while keeping the existing balance of topics.

## Everyday example

- PL: Wklejasz umowę na sto stron, pytasz o jeden zapis z jej środka, a asystent go odnajduje.
- EN: You paste a hundred-page contract, ask about one clause in the middle, and the assistant finds it.

## This concerns you if you…

- PL: wklejasz do AI długie dokumenty
- PL: budujesz narzędzie do analizy obszernych plików
- EN: paste long documents into AI
- EN: build a tool that analyses large files

## Keywords

length upsampling · continual pretraining · domain balance · needle in a haystack · RULER · ProLong · SlimPajama · RoPE scaling

## How it works

- PL: Model po zwykłym pretrainingu trenuje się krótko dalej na sekwencjach o docelowej długości. Długie dokumenty upsampluje się wewnątrz każdej domeny, zachowując proporcje domen pierwotnej mieszanki, zamiast nadreprezentować jedno źródło, na przykład książki.
- EN: After standard pretraining the model is briefly trained further on sequences of the target length. Long documents are upsampled within each domain, keeping the original domain proportions rather than over-representing a single source such as books.

## Limits

- PL: Długich dokumentów wysokiej jakości jest mało i są niejednorodne. Trening na długich sekwencjach jest kosztowny pamięciowo. Dobry wynik w wyszukiwaniu pojedynczego faktu nie dowodzi rozumienia całego tekstu.
- EN: High-quality long documents are scarce and uneven. Training on long sequences is memory-hungry. Passing single-fact retrieval tests does not prove understanding of the whole text.

## Key terms

- PL: **length upsampling**: Częstsze wybieranie długich dokumentów do mieszanki treningowej.
- PL: **ciągły pretraining**: Dalsze uczenie gotowego modelu na nowym rodzaju danych.
- PL: **okno kontekstu**: Maksymalna długość tekstu, którą model widzi naraz.
- EN: **length upsampling**: Picking long documents more often for the training mixture.
- EN: **continual pretraining**: Further training a finished model on a new kind of data.
- EN: **context window**: The maximum length of text a model sees at once.

## Know first

- [Trening od zera / pretraining (Training from scratch and pretraining)](https://aiatlasgraph.com/t/pretraining.md)
- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)

## Related topics

Untyped, symmetric "see also" links.

- [Benchmarki długiego kontekstu (igła w stogu siana i dalej) (Long-context benchmarks (needle-in-a-haystack and beyond))](https://aiatlasgraph.com/t/longcontextbench.md)

## Sources

- [Data Engineering for Scaling Language Models to 128K Context](<https://arxiv.org/abs/2402.10171>) `fu-longcontext-data-2024` · by Yao Fu, Rameswar Panda, Xinyao Niu, Xiang Yue, Hannaneh Hajishirzi, Yoon Kim, Hao Peng

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/longcontextdata · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03