Ewaluacja jest eksperymentem na próbce zadań, więc wynik ma niepewność. Bez jej oszacowania mała różnica między modelami może być nieodróżnialna od losowości próbkowania.
An evaluation is an experiment on a sample of tasks, so its score is uncertain. Without estimating that uncertainty, a small gap between models may be indistinguishable from sampling variation.
To ocenianie, jak niepewne są wyniki testów wykonanych na ograniczonej próbce zadań.
This assesses uncertainty in test results from a limited sample of tasks.
Mała różnica między modelami może pochodzić z doboru pytań lub losowości odpowiedzi zamiast rzeczywistej przewagi.
A small gap between models may come from question sampling or response randomness rather than a real advantage.
Porównuje te same zadania, powtarza próby i wyznacza zakres niepewności, żeby ocenić, jak stabilny jest zauważony wynik.
It compares shared tasks, repeats trials and estimates uncertainty ranges to assess how stable the observed result is.
Model wygrywa na wybranych pytaniach, ale po powtórzeniu prób i zmianie próbki przewaga znika, więc odkładasz wniosek o poprawie.
A model wins on selected questions, but repeated trials and a different sample remove the advantage, so you postpone claiming improvement.