Dyskretna dyfuzja uczona stratą score entropy, która dopasowuje stosunki prawdopodobieństw tokenów.
Discrete diffusion trained with score entropy, which matches ratios of token probabilities.
Model uczy się, które słowa są w danym miejscu bardziej prawdopodobne od innych, i z tego generuje tekst.
A model learns which words are more likely than others at a spot, then uses that to generate text.
Zwykłe odszumianie liczb nie pasuje do słów, a proste macierze przejść słabo trzymają jakość tekstu.
Ordinary number denoising does not fit words, and simple transition matrices struggle to keep text quality.
Zamiast zgadywać samo słowo, sieć szacuje stosunki szans między słowami. Z tych stosunków liczy się krok cofania uszkodzenia.
Instead of guessing the word alone, the network estimates odds ratios between words. Those ratios drive the step that undoes corruption.
Przy uzupełnianiu luki model podnosi szansę słowa pasującego do lewej i prawej strony, a obniża słowa sprzeczne z obiema.
When filling a gap, the model raises the chance of a word that fits both sides and lowers words that clash with either.