# FlashAttention

id `flashattn`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Transformery i attention](https://aiatlasgraph.com/t/transformers.md) › FlashAttention

## Description

- PL: Atencja liczona z myślą o pamięci: mniej przepychania danych, ten sam wynik.
- EN: Attention computed with memory in mind: less data movement, the same result.

## In one sentence

- PL: To liczenie uwagi z mniejszą ilością przenoszenia danych między częściami pamięci komputera.
- EN: This computes attention while moving less data between parts of computer memory.

## Problem it solves

- PL: Obliczenia uwagi czekają na odczyty i zapisy dużych zestawów danych, spowalniając pracę z długim tekstem.
- EN: Attention calculations wait for large data reads and writes, slowing work with long text.

## What it does

- PL: Obliczenia są wykonywane w blokach bliżej procesora, zamiast zapisywać całą wielką tabelę powiązań w wolniejszej pamięci.
- EN: Calculations run in blocks close to the processor instead of storing the entire large relationship matrix in slower memory.

## Everyday example

- PL: Przy treningu na długich dokumentach włączasz wydajniejszą implementację uwagi i mierzysz zużycie pamięci oraz czas.
- EN: When training on long documents, you enable a more efficient attention implementation and measure memory use and runtime.

## This concerns you if you…

- PL: pracujesz z długimi sekwencjami
- PL: uwaga zużywa dużo pamięci lub czasu
- EN: work with long sequences
- EN: find attention consumes substantial memory or time

## Keywords

FlashAttention-2 · FlashAttention-3 · IO-aware attention · SRAM tiling · online softmax · warp specialization

## How it works

- PL: Uwagę oblicza się kafelkami w szybkiej pamięci procesora graficznego, bez zapisywania pełnej macierzy relacji do pamięci głównej urządzenia. Przyrostowy softmax łączy częściowe wyniki, zachowując dokładną konstrukcję uwagi zamiast przybliżania jej relacji.
- EN: Attention is computed in tiles within fast graphics-processor memory, without writing the full relationship matrix to device main memory. Incremental softmax combines partial results, preserving exact attention rather than approximating its relationships.

## Limits

- PL: Pełna uwaga nadal wymaga kwadratowej liczby relacji. Zysk zależy od sprzętu, rozmiarów i obsługiwanych masek; wynik może różnić się numerycznie przez kolejność operacji zmiennoprzecinkowych.
- EN: Full attention still requires quadratically many relationships. Gains depend on hardware, shapes and supported masks; numerical results can differ due to floating-point operation order.

## Key terms

- PL: **tiling**: Podział obliczeń na bloki mieszczące się w szybkiej pamięci.
- PL: **online softmax**: Aktualizacja normalizacji i sum ważonych bez przechowywania wszystkich wyników porównania.
- EN: **tiling**: Dividing computation into blocks fitting fast memory.
- EN: **online softmax**: Updating normalisation and weighted sums without retaining all comparison scores.

## Know first

- [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md)
- [Programowanie GPU (CUDA) (GPU programming (CUDA))](https://aiatlasgraph.com/t/gpuprog.md)

## Examples

- PL: IO-aware · kafelkowanie · specjalizacja warpów
- EN: IO-aware · tiling · warp specialisation

## Related topics

Untyped, symmetric "see also" links.

- [Kernele mnożenia macierzy (GEMM) (Matrix multiplication kernels (GEMM))](https://aiatlasgraph.com/t/gemm.md)
- [Zarządzanie KV cache (KV cache management)](https://aiatlasgraph.com/t/kvcache.md)

## Sources

- [Performance Engineering for AI Infra — learning guide](<https://github.com/wafer-ai/gpu-perf-engineering-resources>) `wafer-gpu` · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · by Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/flashattn · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30