Maskowane transformery generatywne (MaskGIT)

Masked generative image transformers (MaskGIT) · id maskgit · aliases: MaskGIT, masked generative transformer, Muse, parallel iterative decoding, maskowane dekodowanie

Dwukierunkowy transformer generujący tokeny obrazu równolegle, w kilku iteracjach odsłaniania najpewniejszych predykcji z maskowanej siatki.

A bidirectional transformer generating image tokens in parallel over a few iterations, unmasking the most confident predictions from a masked grid.

In one sentence

Generator, który zaczyna od całkiem zakrytego obrazu i w kilku rundach odsłania najpewniejsze fragmenty, aż całość jest gotowa.

A generator that starts from a fully covered image and uncovers its most confident pieces over a few rounds until the whole is done.

Problem it solves

Rysowanie obrazu po jednym fragmencie, wiersz po wierszu, jest wolne i nie pozwala modelowi patrzeć na całą kompozycję.

Drawing an image one fragment at a time, row by row, is slow and keeps the model from seeing the whole composition.

What it does

Jak uzupełnianie krzyżówki: najpierw wpisujesz hasła, których jesteś pewien, a one podpowiadają kolejne.

Like filling in a crossword: first you write the answers you are sure of, and they hint at the rest.

Everyday example

Narzędzie dorysowuje brakujący fragment zdjęcia, patrząc naraz na wszystko dookoła, a nie tylko na to, co powyżej.

A tool fills in a missing part of a photo by looking at everything around it at once, not just what lies above.

This concerns you if you…

Related topics

Sources