Ocena po stanie końcowym zamiast po przebiegu

Outcome-based vs transcript-based grading of agents · id outcomegrading · aliases: outcome grading, state-based evaluation, transcript grading, final state check, ocena wyniku agenta

Ocena agentów przez weryfikację stanu środowiska po próbie, uzupełniana kontrolami zapisu przebiegu.

Grading agents by verifying environment state after a trial, complemented by checks on the transcript.

In one sentence

Sprawdzasz, czy po pracy agenta świat naprawdę wygląda tak, jak powinien, a nie tylko to, co agent o tym napisał.

You check whether the world really looks as it should after the agent's work, not just what the agent wrote about it.

Problem it solves

Agent może napisać „zrobione”, chociaż nic nie zrobił, albo dojść do celu inną, równie dobrą drogą niż przewidziana.

An agent may write 'done' without doing anything, or reach the goal by a different but equally good route than expected.

What it does

Jak kontrola po remoncie: liczy się, czy kran nie cieknie, a nie relacja fachowca; osobno można ocenić, czy po drodze nie narobił szkód.

Like an inspection after a repair: what counts is that the tap stops leaking, not the plumber's story; damage along the way is checked separately.

Everyday example

Asystent ma zarezerwować lot; test sprawdza, czy rezerwacja istnieje w systemie, i osobno, czy asystent nie poprosił klienta o zbędne dane.

An assistant must book a flight; the test checks that the booking exists in the system and, separately, that it asked the customer for no needless data.

This concerns you if you…

Related topics

Sources