# Dyskretna dyfuzja ze strukturalną macierzą przejść EN: **Structured discrete diffusion (D3PM)** · id `d3pm` · aliases: D3PM, multinomial diffusion, discrete denoising diffusion, dyfuzja wielomianowa Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzyjne modele językowe](https://aiatlasgraph.com/t/dllm.md) › Dyskretna dyfuzja ze strukturalną macierzą przejść ## Description - PL: Dyskretna dyfuzja z macierzą przejść: jednostajną, sąsiedzką albo z maską jako stanem pochłaniającym. - EN: Discrete diffusion with a transition matrix: uniform, neighbour-based, or with a mask as an absorbing state. ## In one sentence - PL: Generator tekstu uczy się cofać celowe psucie słów, w którym każde słowo może przejść w inne albo w maskę. - EN: A text generator learns to undo deliberate word corruption, where each word may change into another or into a mask. ## Problem it solves - PL: Trudno przenieść odszumianie obrazów na tekst, bo słowa są etykietami, a nie liczbami, które da się lekko przesunąć. - EN: Image denoising does not transfer cleanly to text, because words are labels, not numbers you can nudge slightly. ## What it does - PL: Ustala się, jak słowa mogą się psuć, a sieć uczy się odgadywać pierwotne słowo z wersji zepsutej. - EN: You fix how words may be corrupted, and a network learns to guess the original word from the corrupted version. ## Everyday example - PL: Model widzi zdanie z częścią słów zamienioną na maskę i ćwiczy odtworzenie brakujących słów z sąsiedztwa. - EN: A model sees a sentence with some words replaced by a mask and practises restoring the missing words from their neighbours. ## This concerns you if you… - PL: chcesz zrozumieć, jak dyfuzja działa na słowach - PL: porównujesz sposoby psucia tekstu w treningu - PL: budujesz generator, który nie idzie tylko w prawo - EN: want to see how diffusion works on words - EN: compare ways of corrupting text in training - EN: build a generator that does not only move right ## Keywords D3PM · transition matrices · absorbing state · multinomial diffusion · categorical diffusion · x0 prediction ## How it works - PL: Proces w przód to łańcuch Markowa na tokenach. Macierz pochłaniająca prowadzi do maski i łączy dyfuzję z modelami maskowymi. Sieć przewiduje token pierwotny, a krok wstecz liczy się z tej predykcji i znanej macierzy. Strata łączy ograniczenie wariacyjne z dodatkową entropią krzyżową. - EN: The forward process is a Markov chain on tokens. An absorbing matrix leads to a mask and links diffusion with mask-based models. A network predicts the original token, and the reverse step is computed from that prediction and the known matrix. The loss mixes a variational bound with auxiliary cross-entropy. ## Limits - PL: Macierz przejść trzeba dobrać do rodzaju danych, a jej wybór wpływa na jakość. Pełna gęsta macierz rośnie kwadratowo ze słownikiem, dlatego skalowalne warianty wykorzystują strukturę, na przykład stan maski lub sąsiedztwo w przestrzeni reprezentacji. Praca źródłowa badała generowanie znaków oraz zbiór LM1B, a nie współczesne modele językowe w dużej skali. - EN: The transition matrix must suit the data, and its choice affects quality. A full dense matrix grows quadratically with vocabulary size, so scalable variants exploit structure such as a mask state or neighbourhoods in representation space. The source paper studied character generation and LM1B, not modern large-scale language models. ## Key terms - PL: **macierz przejść**: Tabela szans, że token zmieni się w inny token. - PL: **predykcja oryginału**: Sieć zgaduje czysty token, a nie sam krok szumu. - EN: **transition matrix**: A table of chances that a token changes into another token. - EN: **original-token prediction**: The network guesses the clean token, not the noise step itself. ## Know first - [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md) - [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md) ## Related topics Untyped, symmetric "see also" links. - [Zaszumianie i odszumianie krok po kroku (DDPM) (Forward noising and learned denoising (DDPM))](https://aiatlasgraph.com/t/ddpm.md) ## Sources - [Structured Denoising Diffusion Models in Discrete State-Spaces]() `austin-d3pm-2021` · by Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/d3pm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30