Końcowa faza pretrainingu na mniejszej, starannie dobranej mieszance danych (np. matematyka, kod, rozumowanie, długie teksty), zwykle przy wygaszanym learning rate. Wzmacnia wybrane zdolności przed post-trainingiem.
A late pretraining phase on a smaller, carefully chosen data mix (e.g. maths, code, reasoning, long documents), usually while the learning rate is annealed. It strengthens selected capabilities before post-training.
To późna faza podstawowego treningu, w której starannie dobrane dane wzmacniają wybrane umiejętności modelu.
This late stage of foundational training uses carefully selected data to strengthen particular model abilities.
Ogólny trening nie daje jeszcze potrzebnej jakości w zadaniach takich jak obliczenia, kod lub długie teksty.
General training does not yet provide the needed quality in calculations, code or long-text tasks.
Pod koniec treningu zmienia się mieszankę danych i zwykle zmniejsza krok uczenia, kierując ostatnie aktualizacje na wybrane zdolności.
Near the end of training, the data mix changes and update steps usually shrink, focusing later adjustments on selected abilities.
Przed nauką rozmowy model dostaje końcową mieszankę sprawdzonych zadań rachunkowych i przykładów kodu.
Before learning conversational behaviour, a model receives a final mix of verified arithmetic tasks and code examples.