Pomocniczy cel pretrainingu: z każdej pozycji model przewiduje kilka kolejnych tokenów osobnymi głowicami.
An auxiliary pretraining objective: from each position the model predicts several upcoming tokens with separate heads.
Trening, w którym model zgaduje nie tylko następne słowo, ale od razu kilka kolejnych, co uczy go patrzeć dalej do przodu.
Training in which the model guesses not just the next word but several at once, teaching it to look further ahead.
Przewidywanie jednego słowa naraz uczy krótkowzroczności i każe generować tekst powoli, słowo po słowie.
Predicting one word at a time encourages short-sightedness and forces slow, word-by-word generation.
Jak kierowca, który patrzy kilka samochodów przed siebie, a nie tylko na zderzak tego tuż przed nim.
Like a driver who watches several cars ahead rather than just the bumper in front.
Podpowiadacz w edytorze kodu szybciej proponuje całe linijki, bo model przewiduje kilka elementów naprzód jednocześnie.
A code editor's autocomplete suggests whole lines faster because the model predicts several pieces ahead at once.