Środowiska, w których model wykonuje wieloetapowe zadania z narzędziami — w przeglądarce, systemie operacyjnym albo rozmowie z symulowanym klientem — a ocenia się, czy cel został osiągnięty.
Environments where a model carries out multi-step tasks with tools — in a browser, an operating system or a conversation with a simulated customer — and is scored on whether the goal was achieved.
To zadania sprawdzające, czy model z narzędziami potrafi rzeczywiście osiągnąć cel przez kilka kroków.
These tasks check whether a model using tools can actually reach a goal through several steps.
Poprawna pojedyncza odpowiedź nie pokazuje, czy model poradzi sobie z całą pracą w aplikacji lub rozmowie.
One correct answer does not show whether a model can complete an entire application task or conversation.
Udostępnia kontrolowane otoczenie i narzędzia, obserwuje przebieg zadania oraz ocenia końcowy rezultat i powtarzalność wykonania.
It provides a controlled environment and tools, observes the task sequence and assesses the final result and execution consistency.
Asystent ma znaleźć spotkanie, zmienić godzinę i zapisać ustalenie; test sprawdza końcowy kalendarz oraz wykonane kroki.
An assistant must find a meeting, change its time and save the update; the test checks the final calendar and performed steps.