Dyfuzja z maską jako jedynym uszkodzeniem: cel to ważona mieszanka strat modelu maskowego.
Diffusion whose only corruption is a mask token: the objective is a weighted mixture of masked-language losses.
Model uczy się uzupełniać losowo zakryte słowa i z tego ćwiczenia generuje cały tekst, zaczynając od samych masek.
A model learns to fill randomly hidden words, then generates a whole text by starting from masks alone.
Chcesz modelu, który widzi kontekst z obu stron, a zwykłe dopisywanie kolejnego słowa tego nie daje.
You want a model that sees context on both sides, and ordinary next-word writing does not provide that.
W treningu zakrywa się losową część słów, a sieć zgaduje tylko zakryte miejsca. Generowanie zaczyna od masek i odkrywa je partiami.
Training hides a random share of words, and the network guesses only the hidden spots. Generation starts from masks and reveals them in batches.
Zaczynasz od pustej notatki o podróży. Model w kilku turach odsłania kolejne słowa, poprawiając te, których jeszcze nie zatwierdził.
You start from a blank trip note. Over a few turns the model reveals words, revising those it has not yet committed.