Dyskretna dyfuzja z macierzą przejść: jednostajną, sąsiedzką albo z maską jako stanem pochłaniającym.
Discrete diffusion with a transition matrix: uniform, neighbour-based, or with a mask as an absorbing state.
Generator tekstu uczy się cofać celowe psucie słów, w którym każde słowo może przejść w inne albo w maskę.
A text generator learns to undo deliberate word corruption, where each word may change into another or into a mask.
Trudno przenieść odszumianie obrazów na tekst, bo słowa są etykietami, a nie liczbami, które da się lekko przesunąć.
Image denoising does not transfer cleanly to text, because words are labels, not numbers you can nudge slightly.
Ustala się, jak słowa mogą się psuć, a sieć uczy się odgadywać pierwotne słowo z wersji zepsutej.
You fix how words may be corrupted, and a network learns to guess the original word from the corrupted version.
Model widzi zdanie z częścią słów zamienioną na maskę i ćwiczy odtworzenie brakujących słów z sąsiedztwa.
A model sees a sentence with some words replaced by a mask and practises restoring the missing words from their neighbours.