# Stopniowa destylacja kroków

EN: **Progressive distillation of diffusion samplers** · id `progdistill` · aliases: progressive distillation, step distillation, destylacja kroków, v-prediction

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Szybkie generowanie w kilku krokach](https://aiatlasgraph.com/t/fewstepdiffusion.md) › Stopniowa destylacja kroków

## Description

- PL: Iteracyjna destylacja, w której uczeń uczy się jednym krokiem odtwarzać dwa kroki deterministycznego samplera nauczyciela, połowiąc liczbę kroków w każdej rundzie.
- EN: Iterative distillation where a student learns to reproduce two steps of the teacher's deterministic sampler in one, halving the step count each round.

## In one sentence

- PL: Uczenie modelu, by jednym krokiem robił to, na co poprzednia wersja potrzebowała dwóch, i powtarzanie tego wiele razy.
- EN: Teaching a model to do in one step what its previous version needed two for, and repeating that many times.

## Problem it solves

- PL: Każdy obraz z modelu dyfuzyjnego wymaga wielu przejść sieci, a te przejścia kosztują czas i prąd na serwerach.
- EN: Every image from a diffusion model takes many network passes, and those passes cost time and server power.

## What it does

- PL: Jak uczeń, który patrzy, jak mistrz robi dwa ruchy, i uczy się je łączyć w jeden; potem sam staje się mistrzem.
- EN: Like an apprentice who watches the master make two moves and learns to merge them into one, then becomes the master.

## Everyday example

- PL: Usługa generująca ilustracje obsługuje więcej klientów na tych samych serwerach, bo jej model robi cztery kroki zamiast kilkuset.
- EN: An illustration service serves more customers on the same servers because its model takes four steps instead of hundreds.

## This concerns you if you…

- PL: utrzymujesz własny generator obrazów i liczysz koszty
- PL: chcesz zrozumieć, jak powstają szybkie wersje modeli
- EN: run your own image generator and watch costs
- EN: want to understand how fast model versions are made

## Keywords

progressive distillation · v-prediction · guided distillation · step distillation · DDIM teacher

## How it works

- PL: Nauczyciel wykonuje dwa kroki samplera typu DDIM z danego zaszumionego punktu; uczeń, zainicjowany wagami nauczyciela, uczy się dotrzeć do tego samego wyniku jednym krokiem. Po rundzie uczeń staje się nauczycielem. Z tysięcy kroków można zejść do czterech przy niewielkiej stracie jakości; pomaga parametryzacja przewidująca prędkość v zamiast szumu.
- EN: The teacher takes two DDIM-style sampler steps from a noisy point; the student, initialised from the teacher, learns to reach the same output in one step. After a round the student becomes the teacher. Thousands of steps can be reduced to four with little quality loss; predicting velocity v instead of noise helps.

## Limits

- PL: Każda runda tworzy i trenuje kolejnego ucznia, więc całe przyspieszenie wymaga dodatkowego procesu treningowego. Publikacja pokazuje wysoką jakość przy czterech krokach; nie ustanawia takiego samego wyniku dla dowolnie mniejszej liczby kroków.
- EN: Each round creates and trains another student, so the speedup requires an additional training pipeline. The paper demonstrates high quality at four steps; it does not establish the same result for arbitrarily fewer steps.

## Key terms

- PL: **uczeń i nauczyciel**: Szybki model trenowany na wynikach wolniejszego, ale dokładniejszego.
- PL: **v-prediction**: Sieć przewiduje mieszankę szumu i danych, co stabilizuje małą liczbę kroków.
- EN: **student and teacher**: A fast model trained on outputs of a slower, more accurate one.
- EN: **v-prediction**: The network predicts a noise–data mix, stabilising few-step sampling.

## Know first

- [Destylacja na miękkich etykietach (logity nauczyciela) (Soft-label (logit) distillation)](https://aiatlasgraph.com/t/logitdistill.md)

## Sources

- [Progressive Distillation for Fast Sampling of Diffusion Models](<https://arxiv.org/abs/2202.00512>) `salimans-progdistill-2022` · by Tim Salimans, Jonathan Ho

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/progdistill · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30