# Mid-training (późna faza pretrainingu)

EN: **Mid-training** · id `midtraining` · aliases: mid-training, midtraining, annealing phase, late-stage curriculum

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Trening od zera / pretraining](https://aiatlasgraph.com/t/pretraining.md) › Mid-training (późna faza pretrainingu)

## Description

- PL: Końcowa faza pretrainingu na mniejszej, starannie dobranej mieszance danych (np. matematyka, kod, rozumowanie, długie teksty), zwykle przy wygaszanym learning rate. Wzmacnia wybrane zdolności przed post-trainingiem.
- EN: A late pretraining phase on a smaller, carefully chosen data mix (e.g. maths, code, reasoning, long documents), usually while the learning rate is annealed. It strengthens selected capabilities before post-training.

## In one sentence

- PL: To późna faza podstawowego treningu, w której starannie dobrane dane wzmacniają wybrane umiejętności modelu.
- EN: This late stage of foundational training uses carefully selected data to strengthen particular model abilities.

## Problem it solves

- PL: Ogólny trening nie daje jeszcze potrzebnej jakości w zadaniach takich jak obliczenia, kod lub długie teksty.
- EN: General training does not yet provide the needed quality in calculations, code or long-text tasks.

## What it does

- PL: Pod koniec treningu zmienia się mieszankę danych i zwykle zmniejsza krok uczenia, kierując ostatnie aktualizacje na wybrane zdolności.
- EN: Near the end of training, the data mix changes and update steps usually shrink, focusing later adjustments on selected abilities.

## Everyday example

- PL: Przed nauką rozmowy model dostaje końcową mieszankę sprawdzonych zadań rachunkowych i przykładów kodu.
- EN: Before learning conversational behaviour, a model receives a final mix of verified arithmetic tasks and code examples.

## This concerns you if you…

- PL: planujesz końcową mieszankę danych treningowych
- PL: chcesz wzmocnić wybrane zdolności modelu bazowego
- EN: plan the final training-data mix
- EN: want to strengthen selected base-model abilities

## Keywords

annealing phase · data mixture shift · high-quality data upsampling · WSD decay phase · long-context extension · reasoning data

## How it works

- PL: Późniejszy odcinek treningu zwiększa udział danych reprezentujących wybrane zdolności i warunki przyszłego użycia. Kontynuacja celu pretrainingowego wraz z dobraną mieszanką i harmonogramem dostosowuje parametry przed uczeniem oczekiwanego formatu odpowiedzi.
- EN: A later training segment increases data representing selected capabilities and future-use conditions. Continuing pretraining objectives with chosen mixtures and schedules adapts parameters before learning desired response formats.

## Limits

- PL: Wąska mieszanka może osłabiać wcześniejsze zdolności i przeuczać domenę. Granica między etapami zależy od receptury; korzyść wymaga oceny względem kosztu oraz wcześniejszych zadań.
- EN: Narrow mixtures can weaken earlier abilities and overfit domains. Stage boundaries depend on recipes; benefits need assessment against cost and earlier tasks.

## Key terms

- PL: **mieszanka docelowa**: Proporcje danych dobrane pod wzmacniane zdolności lub zastosowania.
- PL: **późna adaptacja**: Zmiana rozkładu treningowego przed etapem dostrajania zachowania.
- EN: **target mixture**: Data proportions selected for capabilities or applications being strengthened.
- EN: **late adaptation**: Changing training distributions before behavioural fine-tuning.

## Know first

- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)
- [Selekcja i proporcje danych (Data selection and mixing)](https://aiatlasgraph.com/t/dataselection.md)

## Examples

- PL: annealing na danych wysokiej jakości · curriculum w późnej fazie treningu · przygotowanie pod rozumowanie
- EN: annealing on high-quality data · late-stage curriculum · preparing for reasoning

## Related topics

Untyped, symmetric "see also" links.

- [Dobór mieszanki danych (DoReMi, RegMix) (Data mixture optimisation)](https://aiatlasgraph.com/t/datamixing.md)
- [Dotrenowanie na tekstach z dziedziny (continued pretraining) (Continued (domain-adaptive) pretraining)](https://aiatlasgraph.com/t/continuedpretraining.md)
- [Harmonogram learning rate (rozgrzewka, cosinus, WSD) (Learning-rate schedules)](https://aiatlasgraph.com/t/lrschedules.md)
- [Wydłużanie okna kontekstu (Context window extension)](https://aiatlasgraph.com/t/contextextension.md)

## Sources

- [2 OLMo 2 Furious](<https://arxiv.org/abs/2501.00656>) `olmo2-2025` · by Team OLMo: Pete Walsh, Luca Soldaini i in. (Allen Institute for AI)
- [Mid-Training of Large Language Models: A Survey](<https://arxiv.org/abs/2510.06826>) `mo-midtraining-survey-2025` · by Kaixiang Mo, Yuxin Shi, Weiwei Weng i in.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/midtraining · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30