Dyskretne kody obrazu i dźwięku (VQ-VAE, VQGAN)

Vector-quantised autoencoders (VQ-VAE, VQGAN) · id vqvae · aliases: VQ-VAE, VQGAN, vector quantization, kwantyzacja wektorowa, codebook, visual tokenizer, tokenizer obrazu

Autoenkoder, którego koder zwraca indeksy najbliższych wektorów z wyuczonej książki kodów, tworząc dyskretne tokeny dla modeli generatywnych.

An autoencoder whose encoder outputs indices of the nearest vectors in a learned codebook, producing discrete tokens for generative models.

In one sentence

Sposób zamiany obrazu lub dźwięku na krótki ciąg „słów” z ograniczonego słownika, z którego potem da się go odtworzyć.

A way to turn an image or sound into a short string of ‘words’ from a limited vocabulary, from which it can be rebuilt.

Problem it solves

Modele piszące tekst słowo po słowie nie umieją wprost pracować na milionach pikseli czy próbek dźwięku.

Models that write text word by word cannot work directly on millions of pixels or sound samples.

What it does

Jak mozaika z ograniczonego zestawu kafelków: każdy fragment obrazu zastępuje się numerem najbardziej podobnego kafelka.

Like a mosaic made from a fixed set of tiles: each image patch is replaced by the number of the most similar tile.

Everyday example

Asystent, który rysuje obrazek na twoją prośbę, w środku układa go z ciągu kodów, tak jak układa zdanie ze słów.

An assistant that draws a picture on request internally builds it from a string of codes, just as it builds a sentence from words.

This concerns you if you…

Related topics

Sources