# Walidacja ewaluatorów

EN: **Evaluator validation against human labels** · id `judgevalidation`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ocena ludzi i modeli](https://aiatlasgraph.com/t/judges.md) › Walidacja ewaluatorów

## Description

- PL: Sprawdzenie sędziego LLM lub klasyfikatora na etykietach człowieka, na zbiorze, który nie brał udziału w jego strojeniu.
- EN: Testing an LLM judge or classifier against human labels, on a set that played no part in tuning it.

## In one sentence

- PL: To sprawdzanie, czy automatyczny oceniający poprawnie rozpoznaje błędy według ocen przygotowanych przez ludzi.
- EN: This checks whether an automated evaluator recognises errors according to assessments prepared by people.

## Problem it solves

- PL: Model oceniający może przepuszczać złe odpowiedzi lub odrzucać dobre, nawet jeśli jego uzasadnienia brzmią przekonująco.
- EN: An evaluator model may accept poor answers or reject good ones even when its explanations sound convincing.

## What it does

- PL: Porównuje oceny na osobnym zbiorze ludzkich etykiet, licząc pominięte błędy i niesłuszne odrzucenia bez używania tego zbioru do strojenia.
- EN: It compares ratings against a separate human labelled set, counting missed errors and incorrect rejections without using that set for tuning.

## Everyday example

- PL: Sprawdzasz oceniający model na wcześniej ocenionych notatkach, zwłaszcza tych z błędnymi datami i tych, które poprawnie opisują wyjątki.
- EN: You test an evaluator on previously assessed notes, especially those with wrong dates and those correctly describing exceptions.

## This concerns you if you…

- PL: korzystasz z modelu do oceniania innych odpowiedzi
- PL: masz niezależne oceny ludzi do sprawdzenia sędziego
- EN: use a model to assess other answers
- EN: have independent human ratings for checking the evaluator

## Keywords

human-labeled validation sets · true positive rate · true negative rate · confusion matrix · inter-rater agreement · held-out testing

## How it works

- PL: Zamrożony ewaluator ocenia niezależną próbkę z etykietami zweryfikowanymi przez ludzi. Porównanie błędów, zgodności i wyników w podgrupach sprawdza, które kryteria sędzia rozpoznaje poprawnie.
- EN: A frozen evaluator assesses an independent sample with human-reviewed labels. Comparing errors, agreement and subgroup results tests which criteria the evaluator identifies correctly.

## Limits

- PL: Dostrajanie na zbiorze kontrolnym unieważnia jego niezależność. Mała lub niereprezentatywna próbka może ukryć systematyczne błędy; etykiety ludzi także wymagają kontroli.
- EN: Tuning on the control set compromises its independence. Small or unrepresentative samples can hide systematic errors; human labels also require checks.

## Key terms

- PL: **zbiór walidacji sędziego**: Niezależne przykłady ze sprawdzonymi ocenami do testowania ewaluatora.
- PL: **macierz pomyłek**: Tabela rozbieżności między kategoriami przewidywanymi i referencyjnymi.
- EN: **judge validation set**: Independent examples with reviewed judgements for testing an evaluator.
- EN: **confusion matrix**: A table of discrepancies between predicted and reference categories.

## Know first

- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md)
- [Metryki klasyfikacji i regresji (Classification and regression metrics)](https://aiatlasgraph.com/t/classmetrics.md)

## Examples

- PL: podział train/dev/test · TPR i TNR · jeden sędzia na jeden rodzaj błędu · pass/fail czy skala 1–5
- EN: train/dev/test split · TPR and TNR · one judge per failure type · pass/fail or a 1–5 scale

## Related topics

Untyped, symmetric "see also" links.

- [Model językowy jako sędzia (LLM-as-a-judge) (LLM-as-a-judge)](https://aiatlasgraph.com/t/llmjudge.md)
- [Ocena modeli na pytaniach i rozmowach medycznych (Evaluating LLMs on medical questions and conversations)](https://aiatlasgraph.com/t/medllmeval.md)
- [Podziały i wyciek danych (Data splits and leakage)](https://aiatlasgraph.com/t/splits.md)
- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md)

## Sources

- [AI Evals: Everything You Need to Know](<https://hamel.dev/blog/posts/evals-faq/>) `hamel-evals-faq` · by Hamel Husain, Shreya Shankar

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/judgevalidation · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30