# Dyskretna dyfuzja ze score entropy

EN: **Score entropy discrete diffusion** · id `sedd` · aliases: SEDD, score entropy, ratio matching discrete diffusion

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzyjne modele językowe](https://aiatlasgraph.com/t/dllm.md) › Dyskretna dyfuzja ze score entropy

## Description

- PL: Dyskretna dyfuzja uczona stratą score entropy, która dopasowuje stosunki prawdopodobieństw tokenów.
- EN: Discrete diffusion trained with score entropy, which matches ratios of token probabilities.

## In one sentence

- PL: Model uczy się, które słowa są w danym miejscu bardziej prawdopodobne od innych, i z tego generuje tekst.
- EN: A model learns which words are more likely than others at a spot, then uses that to generate text.

## Problem it solves

- PL: Zwykłe odszumianie liczb nie pasuje do słów, a proste macierze przejść słabo trzymają jakość tekstu.
- EN: Ordinary number denoising does not fit words, and simple transition matrices struggle to keep text quality.

## What it does

- PL: Zamiast zgadywać samo słowo, sieć szacuje stosunki szans między słowami. Z tych stosunków liczy się krok cofania uszkodzenia.
- EN: Instead of guessing the word alone, the network estimates odds ratios between words. Those ratios drive the step that undoes corruption.

## Everyday example

- PL: Przy uzupełnianiu luki model podnosi szansę słowa pasującego do lewej i prawej strony, a obniża słowa sprzeczne z obiema.
- EN: When filling a gap, the model raises the chance of a word that fits both sides and lowers words that clash with either.

## This concerns you if you…

- PL: chcesz generator tekstu sterowany szansami słów
- PL: uzupełniasz środek zdania, nie tylko koniec
- PL: porównujesz cele treningu dyfuzji dyskretnej
- EN: want a text generator steered by word odds
- EN: fill the middle of a sentence, not only the end
- EN: compare training objectives for discrete diffusion

## Keywords

SEDD · score entropy · density ratio estimation · discrete score matching · any-order generation · infilling

## How it works

- PL: Score entropy rozszerza dopasowanie score na stany dyskretne: sieć uczy się stosunków gęstości między tokenami, nie gradientu po liczbach. Z tych stosunków buduje się odwrotny proces na słowach. Próbkowanie może iść dowolną kolejnością i uzupełniać luki bez wymuszania kierunku w prawo.
- EN: Score entropy extends score matching to discrete states: a network learns density ratios between tokens, not a gradient over numbers. Those ratios build the reverse process on words. Sampling can follow any order and fill gaps without forcing a left-to-right direction.

## Limits

- PL: Uczenie stosunków prawdopodobieństw wymaga innego celu i procesu odwrotnego niż klasyczna maskowana entropia krzyżowa. Jakość i koszt zależą od liczby ocen sieci oraz sposobu próbkowania. Wyniki pracy źródłowej były konkurencyjne wobec porównywanych modeli autoregresyjnych, ale nie dowodzą przewagi przy każdej skali, architekturze i budżecie obliczeń.
- EN: Learning probability ratios requires a different objective and reverse process from standard masked cross-entropy. Quality and cost depend on the number of network evaluations and sampling method. Results in the source paper were competitive with the compared autoregressive models, but do not establish an advantage at every scale, architecture and compute budget.

## Key terms

- PL: **score entropy**: Strata, która uczy stosunków szans między dyskretnymi słowami.
- PL: **stosunek gęstości**: Ile razy jedno słowo jest prawdopodobniejsze od drugiego.
- EN: **score entropy**: A loss that learns odds ratios between discrete words.
- EN: **density ratio**: How many times one word is more probable than another.

## Know first

- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)
- [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md)

## Sources

- [Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution](<https://arxiv.org/abs/2310.16834>) `lou-sedd-2023` · by Aaron Lou, Chenlin Meng, Stefano Ermon

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/sedd · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30