# Dyfuzyjne modele językowe

EN: **Diffusion language models** · id `dllm` · aliases: dLLM, diffusion LM, discrete diffusion language model, dyfuzyjny model językowy

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › Dyfuzyjne modele językowe

## Description

- PL: Rodzina modeli językowych uczących się odwracać zakrywanie lub zaszumianie tokenów, a nie tylko następny token.
- EN: A family of language models that learn to reverse token masking or noising, rather than only next-token prediction.

## In one sentence

- PL: Modele językowe tworzą tekst przez kilka rund poprawiania zakrytej lub zaszumionej sekwencji, zamiast wyłącznie dopisywać kolejne słowa.
- EN: Language models create text through repeated refinement of a masked or noised sequence, rather than only appending the next words.

## Problem it solves

- PL: Dopisywanie słowa po słowie jest wolne, a model nie widzi jeszcze fragmentu, który ma powstać później.
- EN: Writing one word at a time is slow, and the model cannot yet see the passage that should come later.

## What it does

- PL: Model zaczyna od zakrytego albo zaszumionego szkicu i w kolejnych rundach odzyskuje wiele pozycji, korzystając z coraz pełniejszego kontekstu.
- EN: The model starts from a masked or noised draft and recovers many positions over successive rounds, using an increasingly complete context.

## Everyday example

- PL: Prosisz o uzupełnienie zdania w środku akapitu. Model widzi lewą i prawą część i wypełnia lukę bez przepisywania całości.
- EN: You ask to complete a sentence in the middle of a paragraph. The model sees both sides and fills the gap without rewriting everything.

## This concerns you if you…

- PL: chcesz uzupełniać luki w już napisanym tekście
- PL: zależy ci na pisaniu wielu słów naraz
- PL: porównujesz sposoby uczenia modeli językowych
- EN: want to fill gaps in text you already wrote
- EN: care about writing many words at once
- EN: compare ways of training language models

## Keywords

discrete diffusion · masked diffusion · parallel decoding · absorbing state · non-autoregressive generation · infilling · score entropy · block diffusion

## How it works

- PL: Proces w przód maskuje tokeny, zamienia je zgodnie z rozkładem przejść albo dodaje szum do ich reprezentacji ciągłych. Sieć uczy się odwracać to uszkodzenie, zwykle bez uwagi ograniczonej wyłącznie do lewego kontekstu. Próbkowanie zaczyna od masek lub szumu i iteracyjnie aktualizuje wiele pozycji; warianty blokowe łączą to z generowaniem kolejnych bloków.
- EN: A forward process masks tokens, replaces them according to a transition distribution, or adds noise to continuous token representations. A network learns to reverse that corruption, usually without attention restricted to left context alone. Sampling starts from masks or noise and iteratively updates many positions; block variants combine this with generation of successive blocks.

## Limits

- PL: Wyniki zależą od rodzaju dyfuzji, samplera i liczby wywołań sieci, więc równoległe przewidywanie tokenów nie gwarantuje mniejszego opóźnienia. W pełni równoległe warianty zwykle pracują na zadanej długości; generowanie blokowe lub półautoregresyjne obsługuje długość zmienną kosztem części sekwencyjności. Sąsiednie tokeny przewidywane naraz mogą być niespójne.
- EN: Results depend on the diffusion type, sampler and number of network evaluations, so parallel token prediction does not guarantee lower latency. Fully parallel variants usually operate on a specified length; block or semi-autoregressive generation supports flexible length at the cost of some sequential processing. Neighbouring tokens predicted together can be inconsistent.

## Key terms

- PL: **stan pochłaniający**: Symbol maski, do którego tokeny zbiegają w procesie zakrywania.
- PL: **dekodowanie równoległe**: Odgadywanie wielu pozycji w jednym kroku, zamiast po jednej.
- EN: **absorbing state**: A mask symbol that tokens converge to during corruption.
- EN: **parallel decoding**: Guessing many positions in one step, instead of one by one.

## Know first

- [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md)
- [Zaszumianie i odszumianie krok po kroku (DDPM) (Forward noising and learned denoising (DDPM))](https://aiatlasgraph.com/t/ddpm.md)

## Subtopics (5 direct, 6 in total)

- [Dyfuzja blokowa (Block diffusion language models)](https://aiatlasgraph.com/t/blockdiffusion.md): An autoregressive distribution over blocks, with discrete diffusion inside a block and causal attention across blocks.
- [Dyfuzja ciągła na zanurzeniach słów (Continuous diffusion on word embeddings)](https://aiatlasgraph.com/t/embdiffusion.md): Continuous diffusion in embedding space: Gaussian noise on vectors, then rounding back to a token.
- [Dyskretna dyfuzja ze score entropy (Score entropy discrete diffusion)](https://aiatlasgraph.com/t/sedd.md): Discrete diffusion trained with score entropy, which matches ratios of token probabilities.
- [Dyskretna dyfuzja ze strukturalną macierzą przejść (Structured discrete diffusion (D3PM))](https://aiatlasgraph.com/t/d3pm.md): Discrete diffusion with a transition matrix: uniform, neighbour-based, or with a mask as an absorbing state.
- [Maskowana dyfuzja tekstu (Masked diffusion language models)](https://aiatlasgraph.com/t/maskdiffusion.md): Diffusion whose only corruption is a mask token: the objective is a weighted mixture of masked-language losses.
  - [Próbkowanie z ponownym maskowaniem (Remasking samplers for masked diffusion)](https://aiatlasgraph.com/t/remasking.md): Masked-diffusion samplers that can mask previously predicted tokens again and revise them over subsequent steps.

## Related topics

Untyped, symmetric "see also" links.

- [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md)

## Sources

- [Structured Denoising Diffusion Models in Discrete State-Spaces](<https://arxiv.org/abs/2107.03006>) `austin-d3pm-2021` · by Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg
- [Simple and Effective Masked Diffusion Language Models](<https://arxiv.org/abs/2406.07524>) `sahoo-mdlm-2024` · by Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T. Chiu, Alexander Rush, Volodymyr Kuleshov
- [Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution](<https://arxiv.org/abs/2310.16834>) `lou-sedd-2023` · by Aaron Lou, Chenlin Meng, Stefano Ermon
- [Large Language Diffusion Models](<https://arxiv.org/abs/2502.09992>) `nie-llada-2025` · by Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li
- [Diffusion-LM Improves Controllable Text Generation](<https://arxiv.org/abs/2205.14217>) `li-diffusionlm-2022` · by Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto
- [Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models](<https://arxiv.org/abs/2503.09573>) `arriola-bd3lm-2025` · by Marianne Arriola, Aaron Gokaslan, Justin T. Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov
- [ALoDLM: Adaptively Looped Diffusion Language Models](<https://arxiv.org/abs/2610.04198>) `fang-alodlm-2026` · by Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, Jiaye Wu, Linghan Xu, Xuanbai Chen, Xiang Xu, Zheng Zhang, Jakub Zablocki, Nishant Sankaran, Yifan Xing

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/dllm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30