Przewidywanie kolejnej skali (od szkicu do detalu)

Next-scale prediction (visual autoregressive modelling, VAR) · id var · aliases: VAR, visual autoregressive modeling, next-scale prediction, coarse-to-fine generation, multi-scale tokenizer

Autoregresja po skalach: transformer przewiduje całą mapę tokenów wyższej rozdzielczości warunkowaną wszystkimi niższymi, zamiast tokenów w porządku rastrowym.

Autoregression over scales: a transformer predicts a whole higher-resolution token map conditioned on all lower ones, instead of tokens in raster order.

In one sentence

Generator, który najpierw tworzy malutką, rozmytą wersję obrazu, a potem kolejno coraz większe i ostrzejsze.

A generator that first makes a tiny, blurry version of the image and then ever larger and sharper ones.

Problem it solves

Modele piszące obraz fragment po fragmencie są wolne i gorsze od dyfuzji, choć przy tekście ta metoda świetnie się skaluje.

Models that write an image fragment by fragment are slow and lag diffusion, even though this method scales superbly for text.

What it does

Jak malarz: najpierw plamy kolorów i kompozycja, potem kształty, na końcu drobne pociągnięcia pędzla.

Like a painter: first patches of colour and composition, then shapes, and finally fine brushstrokes.

Everyday example

Podgląd generowanego obrazka najpierw pokazuje rozmyte plamy, które w kilka chwil wyostrzają się w gotową ilustrację.

A preview of a generated picture first shows blurry blobs that sharpen within moments into a finished illustration.

This concerns you if you…

Sources