Rodzina przybliżeń samo-uwagi, w których softmax zastępuje iloczyn map cech jądra; zmiana kolejności mnożeń daje koszt liniowy w długości sekwencji.
A family of self-attention approximations replacing softmax with a product of kernel feature maps; reordering multiplications gives cost linear in sequence length.
Uproszczona uwaga, której koszt rośnie równo z długością tekstu, a nie z jej kwadratem.
A simplified attention whose cost grows in step with text length rather than with its square.
Zwykła uwaga przy dwa razy dłuższym tekście wymaga mniej więcej czterokrotnie więcej obliczeń, więc długie dokumenty są drogie.
Standard attention needs roughly four times the compute for text twice as long, so long documents get expensive.
Jak notatki zamiast archiwum: model nie przegląda ponownie każdego wcześniejszego słowa, tylko dopisuje je do zwięzłego podsumowania.
Like notes instead of an archive: the model does not re-read every earlier word but adds it to a compact summary.
Model w telefonie streszcza długie nagranie rozmowy, nie zapychając pamięci przy każdym kolejnym zdaniu.
A model on a phone summarises a long recorded conversation without filling memory with every new sentence.