# Dynamiczna uwaga rzadka trenowana od początku

EN: **Natively trainable dynamic sparse attention** · id `sparseattention` · aliases: natively trainable sparse attention, dynamic sparse attention, natywnie trenowana uwaga rzadka, uwaga rzadka uczona od początku

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Architektury efektywne](https://aiatlasgraph.com/t/efficientarch.md) › Dynamiczna uwaga rzadka trenowana od początku

## Description

- PL: Mechanizmy uwagi, w których każde zapytanie obsługuje tylko wybrane bloki kluczy, a wybór jest uczony razem z modelem i wspierany jądrami dopasowanymi do sprzętu.
- EN: Attention mechanisms where each query attends only to selected key blocks, with selection learned together with the model and supported by hardware-aligned kernels.

## In one sentence

- PL: Przy długim tekście model sam wybiera, które fragmenty przeczytać dokładnie, a resztę przegląda tylko w skrócie.
- EN: With long text, the model itself picks which passages to read closely and skims the rest in summary.

## Problem it solves

- PL: Czytanie każdej pary słów w bardzo długim dokumencie jest wolne i drogie, a proste skróty gubią ważne szczegóły.
- EN: Reading every pair of words in a very long document is slow and costly, and simple shortcuts lose important details.

## What it does

- PL: Jak czytanie raportu: przeglądasz streszczenia rozdziałów, wybierasz kilka ważnych stron do dokładnej lektury i pamiętasz ostatni akapit.
- EN: Like reading a report: you skim chapter summaries, pick a few key pages to read closely and keep the last paragraph in mind.

## Everyday example

- PL: Asystent analizuje całą długą umowę i wyłapuje jeden zapis z jej środka szybciej, niż gdyby czytał wszystko słowo w słowo.
- EN: An assistant analyses a whole long contract and catches one clause from its middle faster than if it read everything word by word.

## This concerns you if you…

- PL: pracujesz z bardzo długimi dokumentami lub kodem
- PL: płacisz za długi kontekst w modelach
- EN: work with very long documents or code
- EN: pay for long context in models

## Keywords

Native Sparse Attention · DeepSeek Sparse Attention · MoBA · BigBird · Longformer · block-sparse kernels · top-k block selection · lightning indexer

## How it works

- PL: Klucze i wartości dzieli się na bloki. Przykładowo NSA łączy trzy gałęzie ważone bramkami: skompresowane reprezentacje bloków (obraz globalny), wybór najważniejszych bloków w pełnej rozdzielczości i lokalne okno przesuwne. Ponieważ rzadkość jest obecna w treningu, model uczy się z niej korzystać, a jądra GPU czytają pamięć blokami.
- EN: Keys and values are split into blocks. NSA, for example, combines three gated branches: compressed block representations (global view), selection of the most relevant blocks at full resolution, and a local sliding window. Because sparsity is present during training, the model learns to use it, and GPU kernels read memory block-wise.

## Limits

- PL: Wymaga specjalnych jąder i odpowiedniej wielkości bloków; przy krótkich sekwencjach zysk jest mały. Błędny wybór bloków oznacza utratę informacji. Implementacje są młode i zależne od sprzętu, a porównania z pełną uwagą zależą od zadania.
- EN: It needs special kernels and suitable block sizes; gains are small for short sequences. Wrong block selection loses information. Implementations are young and hardware-specific, and comparisons with full attention depend on the task.

## Key terms

- PL: **blok kluczy**: Grupa sąsiednich tokenów traktowana przy wyborze jako całość.
- PL: **kompresja tokenów**: Streszczenie bloku do jednego, zgrubnego wektora.
- PL: **jądro (kernel)**: Wyspecjalizowany program GPU wykonujący daną operację.
- EN: **key block**: A group of neighbouring tokens treated as one unit for selection.
- EN: **token compression**: Summarising a block into a single coarse vector.
- EN: **kernel**: A specialised GPU program performing an operation.

## Know first

- [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md)

## Related topics

Untyped, symmetric "see also" links.

- [Uwaga lokalna z przesuwnym oknem (Sliding-window (local) attention)](https://aiatlasgraph.com/t/slidingwindow.md)

## Sources

- [Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention](<https://arxiv.org/abs/2502.11089>) `yuan-nsa-2025` · by Jingyang Yuan, Huazuo Gao, Damai Dai i in. (DeepSeek-AI, Peking University, University of Washington)

---

AI Atlas revision 129 (2026-11-05) · HTML: https://aiatlasgraph.com/t/sparseattention · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-05