Próbkowanie z ponownym maskowaniem

Remasking samplers for masked diffusion · id remasking · aliases: ReMDM, confidence remasking, low-confidence remasking, remasking sampler, parallel unmasking, confidence-based decoding

Samplery dyfuzji maskowanej, które mogą ponownie zakrywać wcześniej przewidziane tokeny i poprawiać je w kolejnych krokach.

Masked-diffusion samplers that can mask previously predicted tokens again and revise them over subsequent steps.

In one sentence

Model zgaduje zakryte słowa, zostawia pewne, a niepewne znów zakrywa i próbuje je w następnej turze.

The model guesses hidden words, keeps the confident ones, and hides the uncertain ones again for the next turn.

Problem it solves

Odkrycie wszystkich słów naraz daje sprzeczne sąsiady, a odkrywanie po jednym słowie marnuje równoległość.

Revealing every word at once yields clashing neighbours, while revealing one word at a time wastes parallelism.

What it does

W turze sieć proponuje słowa na maskach. Zostają te z wysoką pewnością, reszta wraca pod maskę, aż tekst się domknie.

Each turn, the network proposes words for masks. High-confidence ones stay, the rest go back under a mask, until the text closes.

Everyday example

Generator notatki zostawia pewne rzeczowniki, a wahające się czasowniki zakrywa i poprawia, gdy reszta zdania jest już widoczna.

A note generator keeps confident nouns, hides hesitant verbs, and revises them once the rest of the sentence is visible.

This concerns you if you…

Sources