Vision Transformer (ViT)

id vit

Transformer zastosowany do obrazu podzielonego na łatki (patches) traktowane jak tokeny; ważna rodzina architektur wizyjnych obok sieci konwolucyjnych.

A transformer applied to an image split into patches treated as tokens; a major family of vision architectures alongside convolutional networks.

In one sentence

To model obrazu, który analizuje zdjęcie jako zestaw małych fragmentów i powiązań między nimi.

This image model analyses a photo as a collection of small patches and relationships between them.

Problem it solves

Znaczenie małego fragmentu zdjęcia zależy często od tego, co widać w odległych częściach obrazu.

A small image region's meaning often depends on what appears in distant parts of the photo.

What it does

Fragmenty obrazu wymieniają informacje przez mechanizm uwagi, dzięki czemu model może zestawiać części całej sceny.

Image patches exchange information through attention, letting a model connect different parts of the whole scene.

Everyday example

Model rozpoznaje rower na zdjęciu, zestawiając koła z kierownicą i ramą.

A model identifies a bicycle in a photo by relating the wheels to the handlebars and frame.

This concerns you if you…

Examples

Related topics

Sources