Autoregresyjne generowanie obrazu i dźwięku

Autoregressive image and audio generation · id argen · aliases: autoregressive image generation, visual autoregressive models, modele autoregresyjne obrazu, next-token image generation, AR image models

Modele generujące dane jako sekwencję elementów (pikseli, próbek, tokenów lub skal), każdy warunkowany poprzednimi; konkurencja i uzupełnienie dyfuzji.

Models generating data as a sequence of elements (pixels, samples, tokens or scales), each conditioned on earlier ones; a rival and complement to diffusion.

In one sentence

Tworzenie obrazu lub dźwięku kawałek po kawałku, gdzie każdy nowy fragment zależy od tego, co już powstało, jak przy pisaniu tekstu.

Creating an image or sound piece by piece, each new fragment depending on what came before, like writing text.

Problem it solves

Chcemy, by jeden model umiał pisać, rysować i mówić, a modele tekstowe znają tylko jedną metodę: przewidywanie kolejnego elementu.

We want one model to write, draw and speak, yet text models know only one method: predicting the next element.

What it does

Obraz zamienia się w ciąg „słów”, a model dopisuje je kolejno albo warstwami, od zgrubnego szkicu po szczegóły.

An image becomes a string of ‘words’ that the model appends one by one or in layers, from rough sketch to fine detail.

Everyday example

Czat, któremu piszesz prośbę, odpowiada tekstem i obrazkiem jednocześnie, tworząc oba tym samym sposobem.

A chat you message replies with both text and a picture, creating both the same way.

This concerns you if you…

Subtopics

Related topics

Sources