Klepsydrowy transformer dyfuzyjny

Hourglass diffusion transformer · id hourglassdit · aliases: HDiT, hourglass DiT, hourglass diffusion transformer, klepsydrowy DiT

Transformer o kształcie klepsydry, skalujący się liniowo z liczbą pikseli.

An hourglass-shaped transformer that scales linearly with pixel count.

In one sentence

Sieć uwagi zwęża obraz w środku obliczeń i rozszerza go z powrotem, żeby nie liczyć pełnej mapy na każdym piętrze.

The attention network narrows the image mid-computation and widens it again, avoiding a full map at every level.

Problem it solves

Porównywanie każdego punktu dużego obrazu z każdym innym zżera pamięć, zanim model w ogóle zacznie rysować.

Comparing every point of a large image with every other point eats memory before drawing even starts.

What it does

Najcięższa uwaga działa na zmniejszonej mapie, a warstwy przy wejściu i wyjściu pilnują drobnych szczegółów.

The heaviest attention runs on a reduced map, while layers at the input and output keep fine detail.

Everyday example

Generator ma narysować twarz w wysokiej ostrości, ale bez skrótu obrazu i bez drabiny osobnych modeli.

A generator must draw a face at high sharpness, without an image code and without a ladder of separate models.

This concerns you if you…

Related topics

Sources