# Liniowe kary odległości w uwadze (ALiBi)

EN: **Attention with linear biases (ALiBi)** · id `alibi` · aliases: ALiBi, attention with linear biases, liniowe kary odległości w uwadze

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Transformery i attention](https://aiatlasgraph.com/t/transformers.md) › [Kodowanie pozycji (sinusoidalne, RoPE)](https://aiatlasgraph.com/t/posencoding.md) › Liniowe kary odległości w uwadze (ALiBi)

## Description

- PL: Metoda pozycyjna bez osadzeń pozycji: do wyników uwagi query–key dodaje się karę liniową w odległości tokenów, z innym nachyleniem dla każdej głowicy.
- EN: A position method without position embeddings: a penalty linear in token distance is added to query–key attention scores, with a different slope per head.

## In one sentence

- PL: Sposób informowania modelu o kolejności słów: im dalej stoi słowo, tym słabiej model bierze je pod uwagę.
- EN: A way to tell a model about word order: the farther away a word is, the less weight the model gives it.

## Problem it solves

- PL: Modele uczone na krótkich tekstach często gubią się, gdy dostają tekst dłuższy niż kiedykolwiek widziały.
- EN: Models trained on short texts often get lost when given a text longer than any they have seen.

## What it does

- PL: Jak rozmowa w gwarnej sali: najlepiej słyszysz sąsiadów, dalsze głosy cichną równomiernie z odległością, ale wciąż docierają.
- EN: Like talking in a noisy hall: you hear neighbours best, farther voices fade evenly with distance but still reach you.

## Everyday example

- PL: Model ćwiczony na krótkich artykułach dalej sensownie dokańcza tekst, gdy dostaje rozdział dwa razy dłuższy.
- EN: A model trained on short articles still continues text sensibly when handed a chapter twice as long.

## This concerns you if you…

- PL: pracujesz z tekstami dłuższymi niż zwykle
- PL: porównujesz sposoby kodowania pozycji w modelach
- EN: work with texts longer than usual
- EN: compare ways models encode position

## Keywords

length extrapolation · relative position bias · T5 relative bias · RoPE · KERPLE · BLOOM · MPT

## How it works

- PL: Zamiast dodawać wektory pozycji do osadzeń słów, do każdej oceny q·k dodaje się −m·|i−j|, gdzie m to stałe, geometrycznie malejące nachylenie przypisane głowicy. Daje to wbudowaną preferencję bliskości i pozwala ekstrapolować na sekwencje dłuższe niż w treningu.
- EN: Instead of adding position vectors to word embeddings, −m·|i−j| is added to each q·k score, where m is a fixed, geometrically decreasing slope per head. This builds in a recency preference and allows extrapolation to sequences longer than in training.

## Limits

- PL: Silna preferencja bliskości może osłabiać korzystanie z bardzo odległych fragmentów. W wielu nowych modelach dominuje RoPE z technikami rozszerzania kontekstu, więc ALiBi spotyka się rzadziej; ekstrapolacja ma swoje granice.
- EN: The strong recency bias can weaken use of very distant passages. Many newer models favour RoPE with context-extension techniques, so ALiBi is less common; extrapolation has limits.

## Key terms

- PL: **ekstrapolacja długości**: Działanie na tekstach dłuższych niż widziane w treningu.
- PL: **nachylenie głowicy**: Jak szybko dana głowica wycisza dalsze tokeny.
- PL: **bias pozycyjny**: Zależna od odległości poprawka dodawana do wyniku uwagi.
- EN: **length extrapolation**: Working on texts longer than those seen in training.
- EN: **head slope**: How fast a given head fades distant tokens.
- EN: **positional bias**: A distance-dependent correction added to the attention score.

## Know first

- [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md)

## Related topics

Untyped, symmetric "see also" links.

- [Wydłużanie okna kontekstu (Context window extension)](https://aiatlasgraph.com/t/contextextension.md)

## Sources

- [Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation](<https://arxiv.org/abs/2108.12409>) `press-alibi-2021` · by Ofir Press, Noah A. Smith, Mike Lewis

---

AI Atlas revision 129 (2026-11-05) · HTML: https://aiatlasgraph.com/t/alibi · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-05