Metryki z wielokrotnych prób: pass@k (co najmniej jeden sukces w k) i pass^k (wszystkie k udane).
Metrics from repeated trials: pass@k (at least one success in k) and pass^k (all k succeed).
Uruchamiasz to samo zadanie kilka razy i liczysz, czy agent dał radę choć raz, czy za każdym razem.
You run the same task several times and count whether the agent succeeded at least once, or every single time.
Agent, który raz na trzy razy myli się przy tym samym zadaniu, wygląda świetnie w jednej próbie, a zawodzi klientów.
An agent that fails one time in three on the same task looks great in a single run yet lets customers down.
Rozróżnia dwa pytania: czy narzędzie w ogóle potrafi trafić (wystarczy jeden sukces), oraz czy można na nim polegać (sukces za każdym razem).
It separates two questions: can the tool get it right at all (one success is enough), and can you rely on it (success every time).
Asystent zwrotów rozwiązuje zadanie w trzech na cztery próby; szansa, że trzech klientów z rzędu dostanie dobrą obsługę, spada poniżej połowy.
A returns assistant solves a task in three of four tries; the chance that three customers in a row get it right drops below half.