# Maskowana dyfuzja tekstu EN: **Masked diffusion language models** · id `maskdiffusion` · aliases: MDLM, masked diffusion, absorbing diffusion, LLaDA, mask predictor Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzyjne modele językowe](https://aiatlasgraph.com/t/dllm.md) › Maskowana dyfuzja tekstu ## Description - PL: Dyfuzja z maską jako jedynym uszkodzeniem: cel to ważona mieszanka strat modelu maskowego. - EN: Diffusion whose only corruption is a mask token: the objective is a weighted mixture of masked-language losses. ## In one sentence - PL: Model uczy się uzupełniać losowo zakryte słowa i z tego ćwiczenia generuje cały tekst, zaczynając od samych masek. - EN: A model learns to fill randomly hidden words, then generates a whole text by starting from masks alone. ## Problem it solves - PL: Chcesz modelu, który widzi kontekst z obu stron, a zwykłe dopisywanie kolejnego słowa tego nie daje. - EN: You want a model that sees context on both sides, and ordinary next-word writing does not provide that. ## What it does - PL: W treningu zakrywa się losową część słów, a sieć zgaduje tylko zakryte miejsca. Generowanie zaczyna od masek i odkrywa je partiami. - EN: Training hides a random share of words, and the network guesses only the hidden spots. Generation starts from masks and reveals them in batches. ## Everyday example - PL: Zaczynasz od pustej notatki o podróży. Model w kilku turach odsłania kolejne słowa, poprawiając te, których jeszcze nie zatwierdził. - EN: You start from a blank trip note. Over a few turns the model reveals words, revising those it has not yet committed. ## This concerns you if you… - PL: piszesz tekst z lukami po obu stronach - PL: chcesz generować wiele słów w jednym kroku - PL: uczysz model na zakrytych fragmentach - EN: write text with gaps on both sides - EN: want to generate many words in one step - EN: train a model on hidden spans ## Keywords MDLM · masked language modeling · absorbing diffusion · SUBS parameterization · Rao-Blackwellized ELBO · LLaDA · mask predictor ## How it works - PL: Token trafia do maski z prawdopodobieństwem zależnym od czasu, a czyste pozycje zostają. Sieć bez maski przyczynowej przewiduje tokeny na maskach. Uproszczony cel, po redukcji wariancji, jest ważoną entropią krzyżową tylko na zakrytych miejscach. Odkrywanie może iść partiami albo blokami. - EN: A token becomes a mask with a time-dependent probability, while clean positions stay. A network without a causal mask predicts tokens at masks. The simplified, variance-reduced objective is weighted cross-entropy on masked positions only. Unmasking can proceed in batches or blocks. ## Limits - PL: W pełni równoległe generowanie zaczyna od płótna o zadanej długości; samplery półautoregresyjne i blokowe mogą tworzyć tekst o długości zmiennej, ale wprowadzają kolejne etapy. Równoległe przewidywanie sąsiadów bywa niespójne, a jakość i koszt zależą od liczby kroków oraz reguły wyboru odkrywanych tokenów. - EN: Fully parallel generation starts from a canvas of specified length; semi-autoregressive and block samplers can produce flexible-length text but introduce successive stages. Parallel prediction of neighbouring tokens can be inconsistent, while quality and cost depend on step count and the rule used to select tokens for unmasking. ## Key terms - PL: **model maskowy**: Sieć zgaduje tylko zakryte słowa, widząc resztę zdania. - PL: **remasking**: Cofnięcie części odgadniętych słów, zwykle tych najmniej pewnych. - EN: **masked model**: A network guesses only hidden words, seeing the rest of the sentence. - EN: **remasking**: Putting some guessed words back under a mask, usually the least sure. ## Know first - [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md) - [Enkoder, dekoder i enkoder–dekoder (BERT, GPT, T5) (Encoder-only, decoder-only and encoder–decoder models)](https://aiatlasgraph.com/t/transformerfamilies.md) ## Subtopics (1 direct, 1 in total) - [Próbkowanie z ponownym maskowaniem (Remasking samplers for masked diffusion)](https://aiatlasgraph.com/t/remasking.md): Masked-diffusion samplers that can mask previously predicted tokens again and revise them over subsequent steps. ## Related topics Untyped, symmetric "see also" links. - [Enkoder, dekoder i enkoder–dekoder (BERT, GPT, T5) (Encoder-only, decoder-only and encoder–decoder models)](https://aiatlasgraph.com/t/transformerfamilies.md) - [Maskowane transformery generatywne (MaskGIT) (Masked generative image transformers (MaskGIT))](https://aiatlasgraph.com/t/maskgit.md) ## Sources - [Simple and Effective Masked Diffusion Language Models]() `sahoo-mdlm-2024` · by Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T. Chiu, Alexander Rush, Volodymyr Kuleshov - [Large Language Diffusion Models]() `nie-llada-2025` · by Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/maskdiffusion · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30