Dyfuzja ciągła na zanurzeniach słów

Continuous diffusion on word embeddings · id embdiffusion · aliases: Diffusion-LM, embedding diffusion, continuous diffusion language model, rounding

Ciągła dyfuzja w przestrzeni zanurzeń: szum gaussowski na wektorach, a na końcu zaokrąglenie do tokenu.

Continuous diffusion in embedding space: Gaussian noise on vectors, then rounding back to a token.

In one sentence

Słowa zamienia się na liczby, szumi te liczby jak obraz, a na końcu zaokrągla wynik z powrotem do słów.

Words become numbers, those numbers are noised like an image, and the result is rounded back into words.

Problem it solves

Chcesz poprawiać powstający tekst małymi krokami, a skok od razu do całego słowa jest za gruby.

You want to adjust a draft in small steps, and jumping straight to a whole word is too coarse.

What it does

Sieć odszumia wektory słów. Po każdym kroku można je pchnąć w stronę warunku, a potem przyciąć do najbliższego słowa.

A network denoises word vectors. After each step they can be nudged toward a condition, then snapped to the nearest word.

Everyday example

Prosisz o zdanie o określonym szyku. Model przesuwa pośrednie wektory tak, by wynik trzymał szyk i nadal brzmiał jak zdanie.

You ask for a sentence with a set word order. The model shifts intermediate vectors so the result keeps that order and still reads as a sentence.

This concerns you if you…

Related topics

Sources