Benchmarki oceniające modele multimodalne na pytaniach wymagających percepcji i rozumowania nad obrazami, wykresami, diagramami lub wideo, często na poziomie akademickim.
Benchmarks testing multimodal models on questions requiring perception and reasoning over images, charts, diagrams or video, often at college level.
Testy sprawdzające, czy model rozumie obrazy, wykresy, diagramy i filmy, a nie tylko sam tekst.
Tests checking whether a model understands pictures, charts, diagrams and videos, not just text.
Model może świetnie pisać, a mylić się przy odczytywaniu wykresu czy schematu, czego tekstowe testy nie pokażą.
A model may write brilliantly yet misread a chart or diagram, which text-only tests will not reveal.
Daje modelowi pytania z egzaminów, w których odpowiedź wymaga połączenia wiedzy z tym, co widać na rysunku.
It gives the model exam questions where the answer requires combining knowledge with what the picture shows.
Student wrzuca zdjęcie wykresu z książki do ekonomii i pyta o trend; test sprawdza, czy model odczytuje wartości poprawnie.
A student uploads a photo of an economics textbook chart and asks about the trend; the test checks whether the model reads values correctly.