# Tania ewaluacja na małej, dobrze dobranej próbce pytań (IRT)

EN: **Efficient evaluation with item subsets and item response theory** · id `efficientevals` · aliases: efficient benchmarking, IRT for LLM evaluation, benchmark subsampling, ewaluacja na podzbiorze

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Metryki i benchmarki](https://aiatlasgraph.com/t/metrics.md) › Tania ewaluacja na małej, dobrze dobranej próbce pytań (IRT)

## Description

- PL: Redukcja kosztów ewaluacji przez wybór reprezentatywnych pytań i estymację wyniku pełnego benchmarku modelami teorii odpowiedzi na pozycje testowe.
- EN: Cutting evaluation cost by selecting representative items and estimating full-benchmark scores with item response theory models.

## In one sentence

- PL: Szacowanie wyniku modelu na wielkim teście po zadaniu mu tylko kilkudziesięciu albo stu starannie wybranych pytań.
- EN: Estimating a model's score on a huge test after asking only a few dozen or a hundred carefully chosen questions.

## Problem it solves

- PL: Pełne testy mają dziesiątki tysięcy pytań, więc sprawdzenie każdej wersji modelu kosztuje dużo czasu i pieniędzy.
- EN: Full tests have tens of thousands of questions, so checking every model version costs a lot of time and money.

## What it does

- PL: Jak sondaż wyborczy: zamiast pytać wszystkich, pyta się dobrze dobraną grupę i z niej wnioskuje o całości.
- EN: Like an opinion poll: instead of asking everyone, you ask a well-chosen group and infer the whole from it.

## Everyday example

- PL: Zespół dostraja model co kilka godzin i po każdej rundzie sprawdza go na stu pytaniach zamiast na czternastu tysiącach.
- EN: A team fine-tunes a model every few hours and after each round checks it on a hundred questions instead of fourteen thousand.

## This concerns you if you…

- PL: płacisz za każde zapytanie do modelu podczas testów
- PL: często porównujesz wiele wersji modelu
- EN: pay for every model query during testing
- EN: often compare many model versions

## Keywords

tinyBenchmarks · item response theory · IRT++ · anchor points · adaptive testing · MMLU · Open LLM Leaderboard · metabench

## How it works

- PL: Na odpowiedziach wielu wcześniejszych modeli dopasowuje się model IRT opisujący trudność i moc różnicującą każdego pytania oraz zdolność modelu. Wybiera się mały podzbiór (np. przez klastrowanie lub kotwice), a nowy model ocenia się tylko na nim i estymuje jego wynik na całości.
- EN: An IRT model fitted on many earlier models' answers describes each item's difficulty and discrimination and each model's ability. A small subset is chosen (e.g. by clustering or anchor points); a new model is scored only on it and its full-benchmark score is estimated.

## Limits

- PL: Estymacja zakłada, że nowy model zachowuje się podobnie do modeli użytych do kalibracji; nowe architektury lub modele dostrojone pod test mogą ją zaburzyć. Mały podzbiór daje szersze przedziały niepewności i łatwiej go przypadkiem wyuczyć.
- EN: Estimation assumes a new model behaves like those used for calibration; new architectures or test-tuned models can break it. A small subset gives wider uncertainty and is easier to memorise accidentally.

## Key terms

- PL: **IRT**: Model statystyczny łączący trudność pytania ze zdolnością zdającego.
- PL: **pytanie kotwiczne**: Pytanie wybrane jako reprezentant grupy podobnych pytań.
- EN: **IRT**: A statistical model linking question difficulty to test-taker ability.
- EN: **anchor item**: A question chosen to represent a group of similar questions.

## Know first

- [Teoria odpowiedzi na pozycje testowe (IRT) (Item response theory (IRT))](https://aiatlasgraph.com/t/irt.md)
- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)

## Related topics

Untyped, symmetric "see also" links.

- [Benchmarki wiedzy i rozumowania (Knowledge and reasoning benchmarks)](https://aiatlasgraph.com/t/knowledgebench.md)

## Sources

- [tinyBenchmarks: evaluating LLMs with fewer examples](<https://arxiv.org/abs/2402.14992>) `tinybenchmarks-2024` · by Felipe Maia Polo, Lucas Weber, Leshem Choshen, Yuekai Sun, Gongjun Xu, Mikhail Yurochkin

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/efficientevals · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06