Transformery i attention

Transformers and attention · id transformers

Mechanizmy łączenia informacji między elementami sekwencji.

Mechanisms for mixing information across a sequence.

In one sentence

To modele, które łączą informacje między częściami tekstu, obrazu lub innych danych za pomocą uwagi.

These models connect information across text, image or other data elements using attention.

Problem it solves

Znaczenie fragmentu zależy od innych miejsc w danych, czasem oddalonych o wiele słów lub części obrazu.

A fragment's meaning depends on other places in the data, sometimes many words or image patches away.

What it does

Kolejne warstwy porównują elementy i mieszają potrzebne informacje, a różne układy służą do odczytywania danych lub generowania odpowiedzi.

Successive layers compare elements and mix relevant information, while different layouts read inputs or generate responses.

Everyday example

Asystent czytający długi opis łączy wzmiankę o zamówieniu z dopisaną później prośbą o zmianę adresu.

An assistant reading a long description connects an order reference to a later request to change its address.

This concerns you if you…

• korzystasz z modeli tekstu lub obrazu
• chcesz zrozumieć łączenie odległych informacji
• use text or image models
• want to understand how distant information is connected

Examples

• Self-attention · encoder · decoder

Subtopics

• Enkoder, dekoder i enkoder–dekoder (BERT, GPT, T5) (Encoder-only, decoder-only and encoder–decoder models): The three transformer layouts. Encoders (BERT) read text bidirectionally and serve classification, search and extraction; decoders (GPT, Llama) predict the next token and make up most modern LLMs; encoder–decoders (T5, BART) map one text to another, e.g. translation and summarisation.
• FlashAttention: Attention computed with memory in mind: less data movement, the same result.
• Kodowanie pozycji (sinusoidalne, RoPE) (Positional encoding (sinusoidal, RoPE)): A way to provide token-order information that the attention operation alone does not encode. The original Transformer added sinusoidal vectors; many contemporary LLMs use RoPE, which rotates queries and keys according to position. For context extension RoPE is often additionally scaled or interpolated; some architectures leave part of their layers without explicit positional encoding.
• Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values)): The heart of the transformer: each token produces a query (Q), key (K) and value (V), and the output is a weighted average of values, weighted by query–key similarity across all tokens. This lets the model mix information from the whole sequence at once; cost grows quadratically with length. Text-generating models use a causal mask (a token sees only earlier ones).
• Oszczędne warianty uwagi (MQA, GQA, MLA) (Memory-efficient attention variants (MQA, GQA, MLA)): Multi-head attention variants that reduce KV-cache memory and generation cost: MQA shares one set of keys and values across heads, GQA shares them across groups of heads, and MLA compresses key-value representations into a latent space.

Related topics

• Detekcja z transformerem (DETR) (Transformer-based object detection (DETR))
• Modele bazowe dla danych tabelarycznych (Tabular foundation models)
• RL jako modelowanie sekwencji (Decision Transformer) (RL as sequence modelling (Decision Transformer))
• Transformery w pętli (Looped transformers)
• Vision Transformer (ViT)
• Wydłużanie okna kontekstu (Context window extension)

Courses

• Attention in Transformers
• Transformers in Practice

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Stanford CS231n · Computer Vision (2026) · reference: Sieci neuronowe i rozumienie obrazów.
• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
• Performance Engineering for AI Infra — learning guide · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.