Szybkie generowanie w kilku krokach

Fast and few-step diffusion sampling · id fewstepdiffusion · aliases: few-step generation, fast sampling, diffusion acceleration, przyspieszanie dyfuzji, one-step diffusion, diffusion distillation

Metody skracania próbkowania modeli dyfuzyjnych: lepsze solvery bez ponownego treningu oraz destylacja do modeli kilku- i jednokrokowych.

Methods for shortening diffusion sampling: better solvers without retraining and distillation into few-step and one-step models.

In one sentence

Zestaw sposobów, by modele tworzące obrazy z szumu dały wynik w kilku krokach zamiast w kilkuset.

A set of ways to make models that create images from noise deliver a result in a few steps instead of hundreds.

Problem it solves

Dobre generatory obrazów odszumiają wynik dziesiątki lub setki razy, więc są wolne, drogie i nie nadają się do pracy na żywo.

Good image generators denoise their output tens or hundreds of times, so they are slow, costly and unfit for live use.

What it does

Albo sprytniej przechodzi się po tej samej drodze, albo wolny model-nauczyciel uczy ucznia robić kilka kroków naraz.

Either the same path is walked more cleverly, or a slow teacher model trains a student to take several steps at once.

Everyday example

Rysujesz kształt w programie graficznym, a obok niemal od razu pojawia się jego realistyczna wersja, zmieniająca się razem z kreską.

You sketch a shape in a graphics app and a realistic version appears beside it almost instantly, changing as you draw.

This concerns you if you…

płacisz za każdy wygenerowany obraz lub klatkę
chcesz generować obrazy na telefonie lub na żywo
pay for every generated image or frame
want to generate images on a phone or live

Subtopics

Modele spójności (generowanie jednym krokiem) (Consistency models): Models trained to map any point on a denoising trajectory to its endpoint, enabling one- and few-step sampling; trained by distillation or standalone.
Przeciwstawna destylacja dyfuzji (generowanie w 1–4 krokach) (Adversarial diffusion distillation): Distilling large diffusion models to 1–4 steps by combining a score-based teacher signal with an adversarial loss.
Stopniowa destylacja kroków (Progressive distillation of diffusion samplers): Iterative distillation where a student learns to reproduce two steps of the teacher's deterministic sampler in one, halving the step count each round.
Szybsze samplery bez ponownego treningu (DDIM, solvery ODE) (Fast training-free samplers (DDIM, ODE solvers)): Deterministic or less stochastic sampling procedures for trained diffusion models, based on non-Markovian processes and probability-flow ODE solvers.

Sources

Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow · Xingchao Liu, Chengyue Gong, Qiang Liu
Denoising Diffusion Implicit Models · Jiaming Song, Chenlin Meng, Stefano Ermon
Progressive Distillation for Fast Sampling of Diffusion Models · Tim Salimans, Jonathan Ho
Consistency Models · Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever
Adversarial Diffusion Distillation · Axel Sauer, Dominik Lorenz, Andreas Blattmann, Robin Rombach
DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps · Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu