# Ocena po stanie końcowym zamiast po przebiegu

EN: **Outcome-based vs transcript-based grading of agents** · id `outcomegrading` · aliases: outcome grading, state-based evaluation, transcript grading, final state check, ocena wyniku agenta

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ewaluacja RAG i agentów](https://aiatlasgraph.com/t/agenteval.md) › Ocena po stanie końcowym zamiast po przebiegu

## Description

- PL: Ocena agentów przez weryfikację stanu środowiska po próbie, uzupełniana kontrolami zapisu przebiegu.
- EN: Grading agents by verifying environment state after a trial, complemented by checks on the transcript.

## In one sentence

- PL: Sprawdzasz, czy po pracy agenta świat naprawdę wygląda tak, jak powinien, a nie tylko to, co agent o tym napisał.
- EN: You check whether the world really looks as it should after the agent's work, not just what the agent wrote about it.

## Problem it solves

- PL: Agent może napisać „zrobione”, chociaż nic nie zrobił, albo dojść do celu inną, równie dobrą drogą niż przewidziana.
- EN: An agent may write 'done' without doing anything, or reach the goal by a different but equally good route than expected.

## What it does

- PL: Jak kontrola po remoncie: liczy się, czy kran nie cieknie, a nie relacja fachowca; osobno można ocenić, czy po drodze nie narobił szkód.
- EN: Like an inspection after a repair: what counts is that the tap stops leaking, not the plumber's story; damage along the way is checked separately.

## Everyday example

- PL: Asystent ma zarezerwować lot; test sprawdza, czy rezerwacja istnieje w systemie, i osobno, czy asystent nie poprosił klienta o zbędne dane.
- EN: An assistant must book a flight; the test checks that the booking exists in the system and, separately, that it asked the customer for no needless data.

## This concerns you if you…

- PL: twój agent zmienia coś w plikach, bazach lub kalendarzach
- PL: testy psują się, gdy agent zrobi to inaczej, ale dobrze
- EN: your agent changes files, databases or calendars
- EN: tests break when the agent does it differently but correctly

## Keywords

outcome verification · state-based evaluation · transcript grading · tool-call checks · environment reset · partial credit · sandboxed environments

## How it works

- PL: Grader kodowy porównuje stan środowiska po próbie (baza, pliki, wyniki testów) ze stanem docelowym, niezależnie od ścieżki. Kontrole przebiegu sprawdzają osobno liczbę tur, użycie zabronionych narzędzi, koszt czy ton. Każda próba startuje w czystym, izolowanym środowisku, a złożone zadania mogą dawać częściowe punkty.
- EN: A code grader compares environment state after the trial (database, files, test results) with the target state, regardless of path. Transcript checks separately cover turn count, forbidden tool use, cost or tone. Each trial starts in a clean isolated environment, and multi-part tasks can award partial credit.

## Limits

- PL: Trzeba umieć zapisać poprawny stan końcowy, co nie zawsze jest możliwe przy zadaniach otwartych. Sam wynik nie wykryje szkodliwych kroków po drodze. Sztywne sprawdzanie kolejności kroków daje kruche testy.
- EN: You must be able to specify the correct end state, which open-ended tasks may not allow. Outcome alone misses harmful steps along the way. Rigid step-order checks make brittle tests.

## Key terms

- PL: **outcome**: Stan środowiska po zakończeniu próby agenta.
- PL: **transcript**: Pełny zapis próby: wiadomości, wywołania narzędzi i wyniki pośrednie.
- PL: **izolacja prób**: Każda próba zaczyna od czystego środowiska, bez śladów poprzedniej.
- EN: **outcome**: The environment state after an agent trial ends.
- EN: **transcript**: The full trial record: messages, tool calls and intermediate results.
- EN: **trial isolation**: Each trial starts from a clean environment with no leftovers.

## Know first

- [Narzędzia i integracje (Tool use and integration)](https://aiatlasgraph.com/t/tools.md)
- [Ewaluatory kodowe (Code-based evaluators)](https://aiatlasgraph.com/t/codeevals.md)

## Related topics

Untyped, symmetric "see also" links.

- [Sprawdzanie końcowego wyniku (Outcome verification)](https://aiatlasgraph.com/t/outcomeverify.md)
- [Weryfikacja wyniku zadania i narzędzi (Voice-agent task and tool outcome verification)](https://aiatlasgraph.com/t/taskoutcome.md)

## Sources

- [Demystifying evals for AI agents](<https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents>) `anthropic-agent-evals-2026` · by Mikaela Grace, Jeremy Hadfield, Rodrigo Olivares, Jiri De Jonghe (Anthropic)
- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](<https://arxiv.org/abs/2406.12045>) `taubench-2024` · by Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan (Sierra)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/outcomegrading · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30