Trójkątna maska w samo-uwadze dekodera blokująca dostęp do przyszłych pozycji; umożliwia równoległy trening autoregresyjny i generację token po tokenie.
A triangular mask in decoder self-attention blocking access to future positions; enables parallel autoregressive training and token-by-token generation.
Zasada, że model piszący tekst przy każdym słowie widzi tylko to, co już powstało, nigdy dalszego ciągu.
The rule that a text-writing model, at each word, sees only what has already been written, never what comes next.
Gdyby model podczas nauki widział następne słowo, uczyłby się ściągać zamiast przewidywać.
If the model could see the next word during training, it would learn to copy instead of predict.
Jak zasłonięcie dalszej części kartki: uczeń odgaduje kolejne słowo, widząc tylko tekst nad linijką.
Like covering the rest of the page: the student guesses the next word seeing only the text above the ruler.
Asystent pisze odpowiedź słowo po słowie i każde kolejne dobiera wyłącznie na podstawie wcześniejszych.
An assistant writes its answer word by word, choosing each one only from the words before it.