Dyfuzyjne modele językowe

Diffusion language models · id dllm · aliases: dLLM, diffusion LM, discrete diffusion language model, dyfuzyjny model językowy

Rodzina modeli językowych uczących się odwracać zakrywanie lub zaszumianie tokenów, a nie tylko następny token.

A family of language models that learn to reverse token masking or noising, rather than only next-token prediction.

In one sentence

Modele językowe tworzą tekst przez kilka rund poprawiania zakrytej lub zaszumionej sekwencji, zamiast wyłącznie dopisywać kolejne słowa.

Language models create text through repeated refinement of a masked or noised sequence, rather than only appending the next words.

Problem it solves

Dopisywanie słowa po słowie jest wolne, a model nie widzi jeszcze fragmentu, który ma powstać później.

Writing one word at a time is slow, and the model cannot yet see the passage that should come later.

What it does

Model zaczyna od zakrytego albo zaszumionego szkicu i w kolejnych rundach odzyskuje wiele pozycji, korzystając z coraz pełniejszego kontekstu.

The model starts from a masked or noised draft and recovers many positions over successive rounds, using an increasingly complete context.

Everyday example

Prosisz o uzupełnienie zdania w środku akapitu. Model widzi lewą i prawą część i wypełnia lukę bez przepisywania całości.

You ask to complete a sentence in the middle of a paragraph. The model sees both sides and fills the gap without rewriting everything.

This concerns you if you…

• chcesz uzupełniać luki w już napisanym tekście
• zależy ci na pisaniu wielu słów naraz
• porównujesz sposoby uczenia modeli językowych
• want to fill gaps in text you already wrote
• care about writing many words at once
• compare ways of training language models

Subtopics

• Dyfuzja blokowa (Block diffusion language models): An autoregressive distribution over blocks, with discrete diffusion inside a block and causal attention across blocks.
• Dyfuzja ciągła na zanurzeniach słów (Continuous diffusion on word embeddings): Continuous diffusion in embedding space: Gaussian noise on vectors, then rounding back to a token.
• Dyskretna dyfuzja ze score entropy (Score entropy discrete diffusion): Discrete diffusion trained with score entropy, which matches ratios of token probabilities.
• Dyskretna dyfuzja ze strukturalną macierzą przejść (Structured discrete diffusion (D3PM)): Discrete diffusion with a transition matrix: uniform, neighbour-based, or with a mask as an absorbing state.
• Maskowana dyfuzja tekstu (Masked diffusion language models): Diffusion whose only corruption is a mask token: the objective is a weighted mixture of masked-language losses.
  • Próbkowanie z ponownym maskowaniem (Remasking samplers for masked diffusion): Masked-diffusion samplers that can mask previously predicted tokens again and revise them over subsequent steps.

Related topics

• Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)

Sources

• Structured Denoising Diffusion Models in Discrete State-Spaces · Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg
• Simple and Effective Masked Diffusion Language Models · Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T. Chiu, Alexander Rush, Volodymyr Kuleshov
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution · Aaron Lou, Chenlin Meng, Stefano Ermon
• Large Language Diffusion Models · Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li
• Diffusion-LM Improves Controllable Text Generation · Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto
• Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models · Marianne Arriola, Aaron Gokaslan, Justin T. Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov
• ALoDLM: Adaptively Looped Diffusion Language Models · Liancheng Fang, Zhuowei Li, Youngeun Kim, Tianchen Zhao, Rajat Koner, Jiaye Wu, Linghan Xu, Xuanbai Chen, Xiang Xu, Zheng Zhang, Jakub Zablocki, Nishant Sankaran, Yifan Xing