Metryki zgodności tekst–obraz: podobieństwo osadzeń obrazu i tekstu (CLIPScore) lub prawdopodobieństwo odpowiedzi „tak” modelu VQA (VQAScore).
Text–image alignment metrics: image–text embedding similarity (CLIPScore) or a VQA model's probability of answering “yes” (VQAScore).
Automatyczne sprawdzanie, czy wygenerowany obraz naprawdę pokazuje to, o co prosiło polecenie.
Automatically checking whether a generated picture really shows what the request asked for.
Generator robi ładny obraz, ale myli liczbę przedmiotów, kolory albo kto stoi po lewej, a nikt nie ma czasu tego sprawdzać.
A generator makes a pretty picture but mixes up item counts, colours or who stands on the left, and nobody has time to check.
Zadaje drugiemu modelowi, który rozumie obrazy, pytanie „czy na tym obrazku jest to, co opisano?” i liczy, jak pewnie odpowiada „tak”.
It asks a second, image-reading model “does this picture show what was described?” and measures how confidently it says yes.
Prosisz o „czerwony kubek obok dwóch niebieskich książek”; ocena wykrywa, że na obrazku są trzy książki i kubek jest zielony.
You ask for “a red mug next to two blue books”; the score catches that the picture shows three books and a green mug.