Dane do treningu długiego kontekstu

Long-context training data · id longcontextdata · aliases: long-context data engineering, long-document data mixture

Mieszanka danych do ciągłego pretrainingu rozszerzającego kontekst: zbalansowane domeny z podwyższonym udziałem długich dokumentów.

Data mixtures for context-extending continual pretraining: balanced domains with a raised share of long documents.

In one sentence

Dobór długich dokumentów do dalszego treningu modelu, żeby umiał korzystać z informacji z całego bardzo długiego pliku lub rozmowy.

Choosing long documents for further training so a model can use information from an entire very long file or conversation.

Problem it solves

Model z dużym oknem kontekstu i tak przeoczy informację ukrytą w środku długiego dokumentu, jeśli nie ćwiczył na takich tekstach.

A model with a big context window still misses facts buried mid-document if it never practised on such texts.

What it does

Dokłada do mieszanki więcej długich tekstów z różnych dziedzin, nie tylko książek, i zachowuje dotychczasowe proporcje tematów.

It adds more long texts from many fields, not just books, while keeping the existing balance of topics.

Everyday example

Wklejasz umowę na sto stron, pytasz o jeden zapis z jej środka, a asystent go odnajduje.

You paste a hundred-page contract, ask about one clause in the middle, and the assistant finds it.

This concerns you if you…

• wklejasz do AI długie dokumenty
• budujesz narzędzie do analizy obszernych plików
• paste long documents into AI
• build a tool that analyses large files

Related topics

• Benchmarki długiego kontekstu (igła w stogu siana i dalej) (Long-context benchmarks (needle-in-a-haystack and beyond))

Sources

• Data Engineering for Scaling Language Models to 128K Context · Yao Fu, Rameswar Panda, Xinyao Niu, Xiang Yue, Hannaneh Hajishirzi, Yoon Kim, Hao Peng