Typowy cel pretrainingu autoregresyjnego modelu językowego: przewidzieć kolejny token na podstawie poprzednich. Błąd jest zwykle optymalizowany jako entropia krzyżowa.
A common pretraining objective for autoregressive language models: predict the next token from the preceding ones. The error is typically optimised as cross-entropy.
To uczenie modelu przewidywania kolejnego kawałka tekstu na podstawie wcześniejszych fragmentów.
This trains a model to predict the next text piece from preceding fragments.
Masz wiele tekstów, ale nie ma przy nich ręcznie napisanych pytań i odpowiedzi do treningu.
You have many texts but no manually written training questions and answers attached to them.
Sam tekst dostarcza celu: model widzi początek, przewiduje dalszy fragment i poprawia ustawienia według różnicy względem oryginału.
Text supplies its own target: a model sees a prefix, predicts what follows and adjusts parameters against the original continuation.
Podczas treningu model dostaje początek przepisu i ćwiczy przewidywanie jego dalszych słów.
During training, a model receives the beginning of a recipe and practises predicting its next words.