Pytania i odpowiedzi o treść obrazu (VQA)
Visual question answering (VQA) · id vqa · aliases: visual question answering, VQA, pytania wizualne, odpowiadanie na pytania o obraz
Odpowiadanie na pytanie w języku naturalnym o zawartość obrazu, w formie otwartej lub wyboru z listy.
Answering a natural-language question about an image's content, open-ended or as multiple choice.
In one sentence
Pokazujesz programowi zdjęcie, zadajesz o nie pytanie zwykłymi słowami i dostajesz odpowiedź.
You show software a picture, ask a question about it in plain words and get an answer.
Problem it solves
Ogólny opis zdjęcia rzadko zawiera ten jeden szczegół, który jest ci akurat potrzebny.
A general description of a photo rarely includes the one detail you happen to need.
What it does
Zamiast opowiadać o całym obrazie, patrzy tam, gdzie kieruje go pytanie: na kolor, liczbę, napis lub układ.
Instead of describing the whole picture it looks where the question points: a colour, a count, a sign or a layout.
Everyday example
Robisz zdjęcie lodówki i pytasz, co ugotować; albo osoba niewidoma pyta, jaka data jest na opakowaniu.
You photograph your fridge and ask what to cook, or a blind person asks what date is printed on a package.
This concerns you if you…
- pytasz czat o zdjęcia lub zrzuty ekranu
- pomagasz osobom słabowidzącym
- sprawdzasz, czy model naprawdę rozumie obraz
- ask a chatbot about photos or screenshots
- help people with low vision
- test whether a model really understands images
Related topics
Sources
- BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation · Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi
- VQA: Visual Question Answering · Aishwarya Agrawal, Jiasen Lu, Stanislaw Antol, Margaret Mitchell, C. Lawrence Zitnick, Dhruv Batra, Devi Parikh
- Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering · Yash Goyal, Tejas Khot, Douglas Summers-Stay, Dhruv Batra, Devi Parikh