Wskazywanie na obrazie rzeczy opisanej słowami (visual grounding)

Visual grounding (referring expression comprehension) · id visualgrounding · aliases: visual grounding, phrase grounding, referring expression comprehension, REC, ugruntowanie wizualne

Lokalizacja regionu obrazu (ramka lub maska) odpowiadającego wyrażeniu językowemu, w tym wyrażeniom pasującym do wielu obiektów lub żadnego.

Localising the image region (box or mask) matching a language expression, including expressions matching several objects or none.

In one sentence

Opisujesz słowami jedną rzecz na zdjęciu, a program zaznacza ją ramką lub obrysem.

You describe one thing in a photo in words and software marks it with a box or outline.

Problem it solves

Na zdjęciu jest wiele podobnych rzeczy, a ty potrzebujesz tej jednej — i nie da się jej wskazać palcem przez tekst.

A photo holds many similar things and you need exactly one — and you can't point a finger through text.

What it does

Rozumie opisy typu „ten kubek po lewej, za laptopem” i zamienia je na konkretne miejsce na obrazie.

It understands phrases like 'the mug on the left, behind the laptop' and turns them into a place in the image.

Everyday example

Mówisz robotowi kuchennemu „podaj czerwony kubek z uchem”, a on wybiera właściwy spośród trzech.

You tell a kitchen robot 'hand me the red mug with a handle' and it picks the right one out of three.

This concerns you if you…

Related topics

Sources