Stopniowa destylacja kroków

Progressive distillation of diffusion samplers · id progdistill · aliases: progressive distillation, step distillation, destylacja kroków, v-prediction

Iteracyjna destylacja, w której uczeń uczy się jednym krokiem odtwarzać dwa kroki deterministycznego samplera nauczyciela, połowiąc liczbę kroków w każdej rundzie.

Iterative distillation where a student learns to reproduce two steps of the teacher's deterministic sampler in one, halving the step count each round.

In one sentence

Uczenie modelu, by jednym krokiem robił to, na co poprzednia wersja potrzebowała dwóch, i powtarzanie tego wiele razy.

Teaching a model to do in one step what its previous version needed two for, and repeating that many times.

Problem it solves

Każdy obraz z modelu dyfuzyjnego wymaga wielu przejść sieci, a te przejścia kosztują czas i prąd na serwerach.

Every image from a diffusion model takes many network passes, and those passes cost time and server power.

What it does

Jak uczeń, który patrzy, jak mistrz robi dwa ruchy, i uczy się je łączyć w jeden; potem sam staje się mistrzem.

Like an apprentice who watches the master make two moves and learns to merge them into one, then becomes the master.

Everyday example

Usługa generująca ilustracje obsługuje więcej klientów na tych samych serwerach, bo jej model robi cztery kroki zamiast kilkuset.

An illustration service serves more customers on the same servers because its model takes four steps instead of hundreds.

This concerns you if you…

Sources