Ewaluacja agentów zgodna z przepływem zadań

Task-flow aligned agent evaluation · id taskfloweval · aliases: SWE-TaskFlow, task flow matching, interaction protocol evaluation

Metoda przekształca zadania z issue w wieloetapowe interakcje zgodne z mierzonym przepływem zadań użytkowników.

Method turns issue-derived tasks into multi-turn interactions matching measured user task flows.

In one sentence

Benchmark sprawdza asystenta tak, jak naprawdę rozmawiają z nim ludzie, a nie jednym długim poleceniem.

The benchmark checks the assistant the way people actually talk to it, not with one long command.

Problem it solves

Standardowe sprawdziany dają jedno szczegółowe zadanie, a prawdziwi użytkownicy przełączają się między pytaniami, planowaniem i poprawkami.

Standard tests give one detailed task, while real users switch between questions, planning and fixes.

What it does

Dzieli zadanie na kroki, dodaje sprawdzalne pytania o kod i wybiera trajektorie najbliższe zmierzonemu przepływowi.

It splits the task into steps, adds checkable questions about the code and picks trajectories closest to the measured flow.

Everyday example

Zamiast jednego polecenia 'napraw błąd' asystent dostaje kilka wiadomości: pytanie o kod, plan, potem poprawkę, tak jak w prawdziwej sesji.

Instead of one command 'fix the bug' the assistant gets several messages: a question about the code, a plan, then the fix, just like a real session.

This concerns you if you…

Related topics

Sources