Sposób przekazania modelowi informacji o kolejności tokenów, której sama operacja uwagi nie koduje. Oryginalny Transformer dodawał wektory sinusoidalne; wiele współczesnych LLM używa RoPE, które obraca zapytania i klucze zależnie od pozycji. Przy wydłużaniu kontekstu RoPE bywa dodatkowo skalowane lub interpolowane; niektóre architektury część warstw pozostawiają bez jawnego kodowania pozycji.
A way to provide token-order information that the attention operation alone does not encode. The original Transformer added sinusoidal vectors; many contemporary LLMs use RoPE, which rotates queries and keys according to position. For context extension RoPE is often additionally scaled or interpolated; some architectures leave part of their layers without explicit positional encoding.
To przekazywanie modelowi informacji, gdzie w ciągu danych znajduje się każdy fragment.
This tells a model where each element appears in a sequence.
Te same słowa w innej kolejności mogą znaczyć coś innego, a sam mechanizm uwagi nie zapisuje ich położenia.
The same words in another order can mean something different, while attention alone does not encode their positions.
Do zapisów fragmentów dodaje się informacje o miejscu albo zmienia porównania między nimi zgodnie z ich położeniem.
Position information is added to element representations, or comparisons between them are adjusted according to their locations.
Model ma odróżnić zdanie o psie goniącym kota od zdania o kocie goniącym psa.
A model needs to distinguish a dog chasing a cat from a cat chasing a dog.