Dyfuzja w przestrzeni pikseli

Pixel-space diffusion · id pixeldiffusion · aliases: pixel diffusion, pixel-space diffusion, dyfuzja pikselowa, end-to-end pixel diffusion, VAE-free diffusion

Dyfuzja uczona i próbkowana wprost na siatce pikseli, bez autoenkodera.

Diffusion trained and sampled directly on the pixel grid, without an autoencoder.

In one sentence

Generator rysuje obraz od razu na pikselach, bez pośredniego, skompresowanego zapisu.

A generator draws the image directly on pixels, without a compressed intermediate representation.

Problem it solves

Skompresowany zapis obrazu gubi drobne krawędzie i tekstury, a potem generator nie ma ich skąd odtworzyć.

A compressed image record loses fine edges and textures, so the generator cannot recover them later.

What it does

Uczy się usuwać szum wprost z kolorów pikseli, więc szczegóły nie przechodzą przez stratny skrót.

It learns to remove noise directly from pixel colours, so details never pass through a lossy code.

Everyday example

Chcesz obraz tkaniny, na którym splot nici zostaje ostry, a nie rozmyty jak po mocnej kompresji.

You want a fabric image where the thread weave stays sharp, not blurred as after heavy compression.

This concerns you if you…

• generator rozmywa drobny tekst albo fakturę
• chcesz rozumieć, czemu obraz traci ostrość
• porównujesz szczegóły przy tym samym opisie
• a generator blurs fine text or texture
• want to see why an image loses sharpness
• compare detail at the same description

Subtopics

• Klepsydrowy transformer dyfuzyjny (Hourglass diffusion transformer): An hourglass-shaped transformer that scales linearly with pixel count.
• Przesunięcie harmonogramu szumu (Noise-schedule shifting for high-resolution pixels): An adjustment of log signal-to-noise ratio as the pixel count grows.
• Transformer pikselowy o dwóch poziomach (Dual-level pixel diffusion transformer): A single-stage diffusion transformer with a patch level and a pixel level.

Related topics

• Autoenkodery wariacyjne (VAE) (Variational autoencoders (VAE))
• Dyfuzja w przestrzeni ukrytej (Stable Diffusion) (Latent diffusion (Stable Diffusion))

Sources

• simple diffusion: End-to-end diffusion for high resolution images · Emiel Hoogeboom, Jonathan Heek, Tim Salimans
• On the Importance of Noise Scheduling for Diffusion Models · Ting Chen
• Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers · Katherine Crowson, Stefan Andreas Baumann, Alex Birch, Tanishq Mathew Abraham, Daniel Z. Kaplan, Enrico Shippole
• PixelDiT: Pixel Diffusion Transformers for Image Generation · Yongsheng Yu, Wei Xiong, Weili Nie, Yichen Sheng, Shiqiu Liu, Jiebo Luo · sponsored
• Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning · Hanqiu Li Cai, Chema Garabito (SperidLabs) · sponsored