# Autoregresyjne generowanie obrazu i dźwięku EN: **Autoregressive image and audio generation** · id `argen` · aliases: autoregressive image generation, visual autoregressive models, modele autoregresyjne obrazu, next-token image generation, AR image models Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rodziny modeli generatywnych](https://aiatlasgraph.com/t/generative.md) › Autoregresyjne generowanie obrazu i dźwięku ## Description - PL: Modele generujące dane jako sekwencję elementów (pikseli, próbek, tokenów lub skal), każdy warunkowany poprzednimi; konkurencja i uzupełnienie dyfuzji. - EN: Models generating data as a sequence of elements (pixels, samples, tokens or scales), each conditioned on earlier ones; a rival and complement to diffusion. ## In one sentence - PL: Tworzenie obrazu lub dźwięku kawałek po kawałku, gdzie każdy nowy fragment zależy od tego, co już powstało, jak przy pisaniu tekstu. - EN: Creating an image or sound piece by piece, each new fragment depending on what came before, like writing text. ## Problem it solves - PL: Chcemy, by jeden model umiał pisać, rysować i mówić, a modele tekstowe znają tylko jedną metodę: przewidywanie kolejnego elementu. - EN: We want one model to write, draw and speak, yet text models know only one method: predicting the next element. ## What it does - PL: Obraz zamienia się w ciąg „słów”, a model dopisuje je kolejno albo warstwami, od zgrubnego szkicu po szczegóły. - EN: An image becomes a string of ‘words’ that the model appends one by one or in layers, from rough sketch to fine detail. ## Everyday example - PL: Czat, któremu piszesz prośbę, odpowiada tekstem i obrazkiem jednocześnie, tworząc oba tym samym sposobem. - EN: A chat you message replies with both text and a picture, creating both the same way. ## This concerns you if you… - PL: używasz czatów, które tworzą też obrazy - PL: porównujesz różne sposoby generowania obrazów - EN: use chats that also create images - EN: compare different ways of generating images ## Keywords PixelCNN · WaveNet · VQGAN transformer · MaskGIT · VAR · next-token prediction · masked token modeling · next-scale prediction ## How it works - PL: Rozkład danych rozkłada się na iloczyn warunkowych prawdopodobieństw kolejnych elementów i uczy entropią krzyżową, jak model językowy. Wczesne modele działały na surowych pikselach i próbkach dźwięku; nowsze generują dyskretne tokeny z autoenkodera kwantyzującego, w porządku rastrowym, równolegle przez maskowanie albo skala po skali. - EN: The data distribution is factorised into conditional probabilities of successive elements and trained with cross-entropy like a language model. Early models worked on raw pixels and audio samples; newer ones generate discrete tokens from a quantising autoencoder, in raster order, in parallel via masking, or scale by scale. ## Limits - PL: Generowanie element po elemencie jest wolne dla dużych obrazów i długiego dźwięku. Porządek rastrowy nie odpowiada naturze obrazu, a błędy wcześniejszych elementów się kumulują. Jakość ogranicza tokenizer. - EN: Element-by-element generation is slow for large images and long audio. Raster order does not match the nature of images, and early errors compound. Quality is capped by the tokenizer. ## Key terms - PL: **porządek rastrowy**: Generowanie wiersz po wierszu, od lewego górnego rogu, jak przy czytaniu. - PL: **dekodowanie równoległe**: Przewidywanie wielu elementów naraz zamiast pojedynczo, by przyspieszyć generowanie. - PL: **tokenizer wizualny**: Sieć zamieniająca obraz na ciąg dyskretnych kodów i z powrotem. - EN: **raster order**: Generating row by row from the top-left corner, like reading. - EN: **parallel decoding**: Predicting many elements at once instead of singly to speed generation. - EN: **visual tokenizer**: A network turning an image into discrete codes and back. ## Know first - [Przewidywanie następnego tokenu (modele autoregresyjne) (Next-token prediction objective)](https://aiatlasgraph.com/t/nexttoken.md) - [Enkoder, dekoder i enkoder–dekoder (BERT, GPT, T5) (Encoder-only, decoder-only and encoder–decoder models)](https://aiatlasgraph.com/t/transformerfamilies.md) ## Subtopics (3 direct, 3 in total) - [Generowanie piksel po pikselu i próbka po próbce (PixelCNN, WaveNet) (Pixel- and sample-level autoregressive models (PixelCNN, WaveNet))](https://aiatlasgraph.com/t/pixelwavenet.md): Autoregressive convolutional networks modelling pixels or audio samples sequentially using masked or dilated causal convolutions. - [Maskowane transformery generatywne (MaskGIT) (Masked generative image transformers (MaskGIT))](https://aiatlasgraph.com/t/maskgit.md): A bidirectional transformer generating image tokens in parallel over a few iterations, unmasking the most confident predictions from a masked grid. - [Przewidywanie kolejnej skali (od szkicu do detalu) (Next-scale prediction (visual autoregressive modelling, VAR))](https://aiatlasgraph.com/t/var.md): Autoregression over scales: a transformer predicts a whole higher-resolution token map conditioned on all lower ones, instead of tokens in raster order. ## Related topics Untyped, symmetric "see also" links. - [Dyskretne kody obrazu i dźwięku (VQ-VAE, VQGAN) (Vector-quantised autoencoders (VQ-VAE, VQGAN))](https://aiatlasgraph.com/t/vqvae.md) ## Sources - [Neural Discrete Representation Learning]() `vandenoord-vqvae-2017` · by Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu - [Taming Transformers for High-Resolution Image Synthesis]() `esser-vqgan-2020` · by Patrick Esser, Robin Rombach, Björn Ommer - [WaveNet: A Generative Model for Raw Audio]() `vandenoord-wavenet-2016` · by Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu - [MaskGIT: Masked Generative Image Transformer]() `chang-maskgit-2022` · by Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, William T. Freeman - [Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction]() `tian-var-2024` · by Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng, Liwei Wang --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/argen · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30