# Klepsydrowy transformer dyfuzyjny

EN: **Hourglass diffusion transformer** · id `hourglassdit` · aliases: HDiT, hourglass DiT, hourglass diffusion transformer, klepsydrowy DiT

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › [Modele dyfuzyjne](https://aiatlasgraph.com/t/diffusion.md) › [Dyfuzja w przestrzeni pikseli](https://aiatlasgraph.com/t/pixeldiffusion.md) › Klepsydrowy transformer dyfuzyjny

## Description

- PL: Transformer o kształcie klepsydry, skalujący się liniowo z liczbą pikseli.
- EN: An hourglass-shaped transformer that scales linearly with pixel count.

## In one sentence

- PL: Sieć uwagi zwęża obraz w środku obliczeń i rozszerza go z powrotem, żeby nie liczyć pełnej mapy na każdym piętrze.
- EN: The attention network narrows the image mid-computation and widens it again, avoiding a full map at every level.

## Problem it solves

- PL: Porównywanie każdego punktu dużego obrazu z każdym innym zżera pamięć, zanim model w ogóle zacznie rysować.
- EN: Comparing every point of a large image with every other point eats memory before drawing even starts.

## What it does

- PL: Najcięższa uwaga działa na zmniejszonej mapie, a warstwy przy wejściu i wyjściu pilnują drobnych szczegółów.
- EN: The heaviest attention runs on a reduced map, while layers at the input and output keep fine detail.

## Everyday example

- PL: Generator ma narysować twarz w wysokiej ostrości, ale bez skrótu obrazu i bez drabiny osobnych modeli.
- EN: A generator must draw a face at high sharpness, without an image code and without a ladder of separate models.

## This concerns you if you…

- PL: pełna uwaga nie mieści się w pamięci
- PL: chcesz jeden model na wysoką rozdzielczość
- PL: porównujesz sieć uwagi z siecią splotową
- EN: full attention does not fit in memory
- EN: want one model for high resolution
- EN: compare an attention net with a convolutional net

## Keywords

HDiT · hourglass transformer · pixel-space DiT · linear scaling · U-Net transformer · high-resolution ImageNet

## How it works

- PL: HDiT skraca sekwencję reprezentacji na kolejnych poziomach hierarchii, stosuje lokalną uwagę na dużych mapach i globalną uwagę na najmniejszej, a następnie rozszerza reprezentację z połączeniami omijającymi. Dzięki temu koszt skaluje się liniowo z liczbą pikseli i model może trenować bez latentnego autoenkodera.
- EN: HDiT shortens the representation sequence across hierarchy levels, uses local attention on large maps and global attention at the smallest level, then expands the representation with skip connections. This gives linear scaling with pixel count and allows training without a latent autoencoder.

## Limits

- PL: Koszt nadal rośnie wraz z liczbą pikseli, a wydajna implementacja korzysta ze specjalizowanej uwagi sąsiedztwa i FlashAttention. Opublikowane wyniki dotyczą głównie ImageNet 256² i FFHQ 1024², więc nie dowodzą jakości dla dowolnego warunkowania tekstowego.
- EN: Cost still grows with pixel count, and the efficient implementation uses specialised neighbourhood attention and FlashAttention. Published results focus mainly on ImageNet 256² and FFHQ 1024², so they do not establish quality for arbitrary text conditioning.

## Key terms

- PL: **klepsydra**: Sieć, która najpierw zmniejsza mapę, a potem ją z powrotem rozszerza.
- PL: **self-conditioning**: Dokładanie własnej poprzedniej prognozy jako dodatkowego wejścia.
- PL: **skalowanie liniowe**: Koszt rośnie proporcjonalnie do liczby punktów, a nie do jej kwadratu.
- EN: **hourglass**: A network that first shrinks the map, then expands it again.
- EN: **self-conditioning**: Feeding the model's own previous prediction back in as an extra input.
- EN: **linear scaling**: Cost grows in proportion to the point count, not to its square.

## Know first

- [Transformery w modelach dyfuzyjnych i przepływowych (DiT) (Transformers for diffusion and flow models (DiT))](https://aiatlasgraph.com/t/dit.md)
- [Zaszumianie i odszumianie krok po kroku (DDPM) (Forward noising and learned denoising (DDPM))](https://aiatlasgraph.com/t/ddpm.md)

## Related topics

Untyped, symmetric "see also" links.

- [Transformery w modelach dyfuzyjnych i przepływowych (DiT) (Transformers for diffusion and flow models (DiT))](https://aiatlasgraph.com/t/dit.md)

## Sources

- [Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers](<https://arxiv.org/abs/2401.11605>) `hdit-2024` · by Katherine Crowson, Stefan Andreas Baumann, Alex Birch, Tanishq Mathew Abraham, Daniel Z. Kaplan, Enrico Shippole

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/hourglassdit · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30