Uwaga lokalna, w której token oddziałuje tylko z ograniczonym oknem sąsiednich tokenów zamiast z całą sekwencją. Przy stałym rozmiarze okna całkowity koszt obliczeń rośnie liniowo z długością sekwencji, a pamięć KV dla generowania może być ograniczona rozmiarem okna. Niektóre architektury łączą ją z uwagą globalną lub pełną.
Local attention in which a token interacts only with a bounded window of neighbouring tokens rather than the entire sequence. With a fixed window, total compute grows linearly with sequence length, and the KV memory used for generation can be bounded by the window size. Some architectures combine it with global or full attention.
To uwaga, która dla każdego fragmentu danych korzysta tylko z ograniczonego sąsiedztwa.
This attention mechanism uses only a limited neighbourhood for each data element.
Porównywanie wszystkich fragmentów długiego tekstu ze wszystkimi zużywa dużo pamięci i obliczeń.
Comparing every part of a long text with every other part consumes substantial memory and computation.
Okno przesuwa się wraz z tekstem, ograniczając bezpośrednie porównania; dalsze informacje mogą docierać przez inne warstwy lub dodatkową uwagę.
A window moves along the text, limiting direct comparisons; distant information can arrive through other layers or additional attention.
Model analizuje długi zapis zdarzeń, skupiając każdy krok na pobliskich wpisach zamiast całej historii naraz.
A model analyses a long event log, focusing each step on nearby entries rather than the whole history at once.