# Ewaluacja agentów zgodna z przepływem zadań

EN: **Task-flow aligned agent evaluation** · id `taskfloweval` · aliases: SWE-TaskFlow, task flow matching, interaction protocol evaluation

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Zbiory testowe i regresje](https://aiatlasgraph.com/t/evalsets.md) › Ewaluacja agentów zgodna z przepływem zadań

## Description

- PL: Metoda przekształca zadania z issue w wieloetapowe interakcje zgodne z mierzonym przepływem zadań użytkowników.
- EN: Method turns issue-derived tasks into multi-turn interactions matching measured user task flows.

## In one sentence

- PL: Benchmark sprawdza asystenta tak, jak naprawdę rozmawiają z nim ludzie, a nie jednym długim poleceniem.
- EN: The benchmark checks the assistant the way people actually talk to it, not with one long command.

## Problem it solves

- PL: Standardowe sprawdziany dają jedno szczegółowe zadanie, a prawdziwi użytkownicy przełączają się między pytaniami, planowaniem i poprawkami.
- EN: Standard tests give one detailed task, while real users switch between questions, planning and fixes.

## What it does

- PL: Dzieli zadanie na kroki, dodaje sprawdzalne pytania o kod i wybiera trajektorie najbliższe zmierzonemu przepływowi.
- EN: It splits the task into steps, adds checkable questions about the code and picks trajectories closest to the measured flow.

## Everyday example

- PL: Zamiast jednego polecenia 'napraw błąd' asystent dostaje kilka wiadomości: pytanie o kod, plan, potem poprawkę, tak jak w prawdziwej sesji.
- EN: Instead of one command 'fix the bug' the assistant gets several messages: a question about the code, a plan, then the fix, just like a real session.

## This concerns you if you…

- PL: sprawdzasz asystentów do kodu na rzeczywistych sesjach użytkowników
- PL: chcesz, by benchmark odzwierciedlał przełączanie zadań
- PL: jednoetapowe sprawdziany dają wyniki odległe od praktyki
- EN: check coding assistants on real user sessions
- EN: want the benchmark to reflect task switching
- EN: single-step tests give results far from practice

## Keywords

SWE-TaskFlow · task flow · prompt splitting · verifiable QA · TFAS · interaction protocol · coding agent benchmarks · multi-turn evaluation

## How it works

- PL: Zmierza się Task Flow: długości sesji, typy zadań i przejścia między nimi. Prompt splitting dzieli issue na kroki. Verifiable repository QA dodaje pytania z odpowiedziami referencyjnymi. TFAS wybiera trajektorie najbliższe docelowemu rozkładowi.
- EN: Task Flow is measured: session lengths, task types and transitions. Prompt splitting divides the issue into steps. Verifiable repository QA adds questions with reference answers. TFAS selects trajectories closest to the target distribution.

## Limits

- PL: Pilot pokazał, że sekwencyjne rozwiązanie podwaja koszt bez stabilnej zmiany wskaźnika rozwiązania. Wymaga zmierzenia przepływu docelowych użytkowników. Nie zastępuje weryfikacji testami jednostkowymi.
- EN: The pilot showed sequential solving roughly doubles cost without a stable change in resolve rate. It requires measuring the target users' flow. It does not replace unit-test verification.

## Key terms

- PL: **przepływ zadań**: Rozkład długości sesji, typów zadań i przejść między nimi.
- PL: **TFAS**: Wynik dopasowania trajektorii do zmierzonego przepływu.
- PL: **prompt splitting**: Dzielenie jednego zadania na kilka kroków interakcji.
- EN: **task flow**: Distribution of session lengths, task types and transitions.
- EN: **TFAS**: Score of how well a trajectory matches the measured flow.
- EN: **prompt splitting**: Dividing one task into several interaction steps.

## Know first

- [Agenci i orkiestracja (Agents and orchestration)](https://aiatlasgraph.com/t/agentsnode.md)

## Related topics

Untyped, symmetric "see also" links.

- [Agenci i orkiestracja (Agents and orchestration)](https://aiatlasgraph.com/t/agentsnode.md)
- [Frameworki do uruchamiania ewaluacji (Evaluation harnesses and frameworks)](https://aiatlasgraph.com/t/evalharness.md)

## Sources

- [Coding-Agent Benchmarks Should Match Their Users' Task Flows](<https://arxiv.org/abs/2610.09633>) `swetaskflow-2026` · by Igor Slinko, Yaroslav Golubev, Sergey Titov

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/taskfloweval · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30