Metoda pozycyjna bez osadzeń pozycji: do wyników uwagi query–key dodaje się karę liniową w odległości tokenów, z innym nachyleniem dla każdej głowicy.
A position method without position embeddings: a penalty linear in token distance is added to query–key attention scores, with a different slope per head.
Sposób informowania modelu o kolejności słów: im dalej stoi słowo, tym słabiej model bierze je pod uwagę.
A way to tell a model about word order: the farther away a word is, the less weight the model gives it.
Modele uczone na krótkich tekstach często gubią się, gdy dostają tekst dłuższy niż kiedykolwiek widziały.
Models trained on short texts often get lost when given a text longer than any they have seen.
Jak rozmowa w gwarnej sali: najlepiej słyszysz sąsiadów, dalsze głosy cichną równomiernie z odległością, ale wciąż docierają.
Like talking in a noisy hall: you hear neighbours best, farther voices fade evenly with distance but still reach you.
Model ćwiczony na krótkich artykułach dalej sensownie dokańcza tekst, gdy dostaje rozdział dwa razy dłuższy.
A model trained on short articles still continues text sensibly when handed a chapter twice as long.