Rozkład autoregresyjny po blokach, a w bloku dyskretna dyfuzja z uwagą przyczynową między blokami.
An autoregressive distribution over blocks, with discrete diffusion inside a block and causal attention across blocks.
Tekst powstaje blok po bloku. Wewnątrz bloku słowa odkrywają się naraz, a wcześniejsze bloki zostają kontekstem.
Text is written block by block. Inside a block, words appear together, while earlier blocks stay as context.
Generowanie całej sekwencji z masek trzyma stałą długość i nie umie tanio wykorzystać już napisanego początku.
Generating a whole sequence from masks keeps a fixed length and cannot cheaply reuse the beginning already written.
Model dopisuje kolejne bloki jak zwykły tekst, a w bloku odszumia wiele słów równolegle i pamięta wcześniejsze obliczenia.
The model appends blocks like ordinary text, while denoising many words in parallel inside a block and reusing earlier computation.
Piszesz długą notatkę. Model kończy akapit, zostawia go jako kontekst i w następnym bloku uzupełnia kilka zdań naraz.
You write a long note. The model finishes a paragraph, keeps it as context, and fills several sentences at once in the next block.