# Dyfuzja blokowa

EN: **Block diffusion language models** · id `blockdiffusion` · aliases: BD3-LM, block diffusion, semi-autoregressive diffusion, block-causal diffusion

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzyjne modele językowe](https://aiatlasgraph.com/t/dllm.md) › Dyfuzja blokowa

## Description

- PL: Rozkład autoregresyjny po blokach, a w bloku dyskretna dyfuzja z uwagą przyczynową między blokami.
- EN: An autoregressive distribution over blocks, with discrete diffusion inside a block and causal attention across blocks.

## In one sentence

- PL: Tekst powstaje blok po bloku. Wewnątrz bloku słowa odkrywają się naraz, a wcześniejsze bloki zostają kontekstem.
- EN: Text is written block by block. Inside a block, words appear together, while earlier blocks stay as context.

## Problem it solves

- PL: Generowanie całej sekwencji z masek trzyma stałą długość i nie umie tanio wykorzystać już napisanego początku.
- EN: Generating a whole sequence from masks keeps a fixed length and cannot cheaply reuse the beginning already written.

## What it does

- PL: Model dopisuje kolejne bloki jak zwykły tekst, a w bloku odszumia wiele słów równolegle i pamięta wcześniejsze obliczenia.
- EN: The model appends blocks like ordinary text, while denoising many words in parallel inside a block and reusing earlier computation.

## Everyday example

- PL: Piszesz długą notatkę. Model kończy akapit, zostawia go jako kontekst i w następnym bloku uzupełnia kilka zdań naraz.
- EN: You write a long note. The model finishes a paragraph, keeps it as context, and fills several sentences at once in the next block.

## This concerns you if you…

- PL: potrzebujesz tekstu dłuższego niż jeden blok
- PL: chcesz równoległości bez utraty już napisanego
- PL: składasz dopisywanie z uzupełnianiem luk
- EN: need text longer than a single block
- EN: want parallelism without losing what is written
- EN: combine next-block writing with gap filling

## Keywords

BD3-LM · block diffusion · semi-autoregressive · KV cache · block-causal attention · flexible length · noise schedule

## How it works

- PL: Prawdopodobieństwo faktoryzuje się po blokach. W bloku tokeny są maskowane i odszumiane, przy czym uwaga widzi poprzednie bloki. Pamięć kluczy i wartości z gotowych bloków da się zachować. Rozmiar bloku ustawia kompromis: jeden token zbliża model do dopisywania słowa, większy blok zwiększa równoległość.
- EN: Likelihood factorises over blocks. Inside a block, tokens are masked and denoised, while attention sees previous blocks. Keys and values from finished blocks can be cached. Block size sets the trade-off: one token nears word-by-word writing, a larger block raises parallelism.

## Limits

- PL: Mały blok traci równoległość, duży wraca do problemów stałej długości i niespójnych sąsiadów. Harmonogram szumu w bloku trzeba dobrać, inaczej wariancja gradientu rośnie. To nadal nie jest darmowe dopisywanie słowa.
- EN: A small block loses parallelism, a large one returns to fixed-length issues and inconsistent neighbours. The in-block noise schedule must be chosen, or gradient variance grows. This is still not free word-by-word writing.

## Key terms

- PL: **blok**: Paczka sąsiednich tokenów generowana razem, zanim dojdzie następna.
- PL: **pamięć kluczy**: Zapis wcześniejszych obliczeń, żeby nie liczyć początku od nowa.
- EN: **block**: A pack of neighbouring tokens generated together before the next pack.
- EN: **key cache**: A store of earlier computation so the beginning is not recomputed.

## Know first

- [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md)
- [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md)

## Related topics

Untyped, symmetric "see also" links.

- [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md)

## Sources

- [Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models](<https://arxiv.org/abs/2503.09573>) `arriola-bd3lm-2025` · by Marianne Arriola, Aaron Gokaslan, Justin T. Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/blockdiffusion · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30