# Próbkowanie z ponownym maskowaniem

EN: **Remasking samplers for masked diffusion** · id `remasking` · aliases: ReMDM, confidence remasking, low-confidence remasking, remasking sampler, parallel unmasking, confidence-based decoding

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzyjne modele językowe](https://aiatlasgraph.com/t/dllm.md) › [Maskowana dyfuzja tekstu](https://aiatlasgraph.com/t/maskdiffusion.md) › Próbkowanie z ponownym maskowaniem

## Description

- PL: Samplery dyfuzji maskowanej, które mogą ponownie zakrywać wcześniej przewidziane tokeny i poprawiać je w kolejnych krokach.
- EN: Masked-diffusion samplers that can mask previously predicted tokens again and revise them over subsequent steps.

## In one sentence

- PL: Model zgaduje zakryte słowa, zostawia pewne, a niepewne znów zakrywa i próbuje je w następnej turze.
- EN: The model guesses hidden words, keeps the confident ones, and hides the uncertain ones again for the next turn.

## Problem it solves

- PL: Odkrycie wszystkich słów naraz daje sprzeczne sąsiady, a odkrywanie po jednym słowie marnuje równoległość.
- EN: Revealing every word at once yields clashing neighbours, while revealing one word at a time wastes parallelism.

## What it does

- PL: W turze sieć proponuje słowa na maskach. Zostają te z wysoką pewnością, reszta wraca pod maskę, aż tekst się domknie.
- EN: Each turn, the network proposes words for masks. High-confidence ones stay, the rest go back under a mask, until the text closes.

## Everyday example

- PL: Generator notatki zostawia pewne rzeczowniki, a wahające się czasowniki zakrywa i poprawia, gdy reszta zdania jest już widoczna.
- EN: A note generator keeps confident nouns, hides hesitant verbs, and revises them once the rest of the sentence is visible.

## This concerns you if you…

- PL: wynik ma sprzeczne sąsiednie słowa
- PL: chcesz mniej kroków niż jedno słowo na turę
- PL: poprawiasz szkic, zostawiając pewne fragmenty
- EN: the draft has clashing neighbouring words
- EN: want fewer steps than one word per turn
- EN: revise a draft while keeping sure fragments

## Keywords

ReMDM · remasking · low-confidence remasking · iterative refinement · inference-time scaling · parallel decoding · confidence threshold · unmasking schedule

## How it works

- PL: Model przewiduje tokeny dla zamaskowanych pozycji, po czym sampler decyduje, które z nich zachować, a które ponownie zamaskować. Prosta wersja odrzuca tokeny o najniższej pewności; ReMDM wyprowadza ponowne maskowanie z osobnego procesu odwrotnego. Większa liczba rund daje dodatkowy budżet na iteracyjne poprawianie wyniku.
- EN: The model predicts tokens at masked positions, then the sampler decides which to keep and which to mask again. A simple variant rejects the lowest-confidence tokens; ReMDM derives remasking from a separate reverse process. More rounds provide additional compute for iterative revision.

## Limits

- PL: Dodatkowe rundy zwiększają koszt i opóźnienie. Pewność modelu nie jest miarą prawdy, a dobór pozycji do ponownego maskowania może utrwalać błędy. Zyski zależą od modelu, zadania i budżetu samplowania; sampler nie naprawi słabego modelu bazowego.
- EN: Additional rounds increase cost and latency. Model confidence is not a measure of truth, and the choice of positions to mask again can preserve errors. Gains depend on the model, task and sampling budget; a sampler cannot repair a weak base model.

## Key terms

- PL: **pewność**: Jak mocno sieć stawia na wybrane słowo w danym miejscu.
- PL: **harmonogram odkrywania**: Ile masek wolno zdjąć w kolejnej turze.
- EN: **confidence**: How strongly the network bets on the chosen word at a position.
- EN: **unmasking schedule**: How many masks may be removed on the next turn.

## Know first

- [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md)
- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)

## Sources

- [Large Language Diffusion Models](<https://arxiv.org/abs/2502.09992>) `nie-llada-2025` · by Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li
- [Remasking Discrete Diffusion Models with Inference-Time Scaling](<https://arxiv.org/abs/2503.00307>) `wang-remdm-2025` · by Guanghan Wang, Yair Schiff, Subham Sekhar Sahoo, Volodymyr Kuleshov

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/remasking · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30