# Powtarzalność agenta: pass@k i pass^k

EN: **Agent reliability metrics: pass@k and pass^k** · id `passk` · aliases: pass@k, pass^k, pass hat k, consistency metric, wielokrotne próby

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ewaluacja RAG i agentów](https://aiatlasgraph.com/t/agenteval.md) › Powtarzalność agenta: pass@k i pass^k

## Description

- PL: Metryki z wielokrotnych prób: pass@k (co najmniej jeden sukces w k) i pass^k (wszystkie k udane).
- EN: Metrics from repeated trials: pass@k (at least one success in k) and pass^k (all k succeed).

## In one sentence

- PL: Uruchamiasz to samo zadanie kilka razy i liczysz, czy agent dał radę choć raz, czy za każdym razem.
- EN: You run the same task several times and count whether the agent succeeded at least once, or every single time.

## Problem it solves

- PL: Agent, który raz na trzy razy myli się przy tym samym zadaniu, wygląda świetnie w jednej próbie, a zawodzi klientów.
- EN: An agent that fails one time in three on the same task looks great in a single run yet lets customers down.

## What it does

- PL: Rozróżnia dwa pytania: czy narzędzie w ogóle potrafi trafić (wystarczy jeden sukces), oraz czy można na nim polegać (sukces za każdym razem).
- EN: It separates two questions: can the tool get it right at all (one success is enough), and can you rely on it (success every time).

## Everyday example

- PL: Asystent zwrotów rozwiązuje zadanie w trzech na cztery próby; szansa, że trzech klientów z rzędu dostanie dobrą obsługę, spada poniżej połowy.
- EN: A returns assistant solves a task in three of four tries; the chance that three customers in a row get it right drops below half.

## This concerns you if you…

- PL: twój agent obsługuje klientów i musi działać za każdym razem
- PL: wyniki testów skaczą między uruchomieniami
- EN: your agent serves customers and must work every time
- EN: test results jump between runs

## Keywords

pass@k · pass^k · unbiased estimator · HumanEval · tau-bench · trial variance · consistency

## How it works

- PL: Dla każdego zadania wykonuje się n prób i liczy c udanych. pass@k szacuje się nieobciążonym estymatorem 1 − C(n−c,k)/C(n,k) i rośnie z k. pass^k to prawdopodobieństwo, że wszystkie k prób się udadzą, liczone z C(c,k)/C(n,k) i maleje z k. Wyniki uśrednia się po zadaniach.
- EN: Run n trials per task and count c successes. pass@k is estimated with the unbiased estimator 1 − C(n−c,k)/C(n,k) and rises with k. pass^k, the probability that all k trials succeed, is computed as C(c,k)/C(n,k) and falls with k. Scores are averaged over tasks.

## Limits

- PL: Wymaga wielu uruchomień każdego zadania, więc mnoży koszt. Przy małym n szacunki są niepewne. Próby muszą być naprawdę niezależne: wspólny stan lub pamięć podbija wynik.
- EN: It needs many runs per task, multiplying cost. With small n the estimates are uncertain. Trials must be truly independent: shared state or memory inflates scores.

## Key terms

- PL: **pass@k**: Szansa, że co najmniej jedna z k prób się uda.
- PL: **pass^k**: Szansa, że wszystkie k prób się udadzą; miara niezawodności.
- PL: **estymator nieobciążony**: Wzór, który średnio nie zawyża ani nie zaniża szukanej wartości.
- EN: **pass@k**: The chance that at least one of k trials succeeds.
- EN: **pass^k**: The chance that all k trials succeed; a reliability measure.
- EN: **unbiased estimator**: A formula that on average neither over- nor underestimates the value.

## Know first

- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)
- [Statystyka i niepewność (Statistics and uncertainty)](https://aiatlasgraph.com/t/probability.md)

## Sources

- [Demystifying evals for AI agents](<https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents>) `anthropic-agent-evals-2026` · by Mikaela Grace, Jeremy Hadfield, Rodrigo Olivares, Jiri De Jonghe (Anthropic)
- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains](<https://arxiv.org/abs/2406.12045>) `taubench-2024` · by Shunyu Yao, Noah Shinn, Pedram Razavi, Karthik Narasimhan (Sierra)
- [Evaluating Large Language Models Trained on Code](<https://arxiv.org/abs/2107.03374>) `codex-humaneval-2021` · by Mark Chen, Jerry Tworek i in. (OpenAI)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/passk · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30