# Model językowy jako sędzia (LLM-as-a-judge)

EN: **LLM-as-a-judge** · id `llmjudge` · aliases: LLM as a judge, LLM judge, model-based grader, sędzia LLM, ocena modelem językowym

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ocena ludzi i modeli](https://aiatlasgraph.com/t/judges.md) › Model językowy jako sędzia (LLM-as-a-judge)

## Description

- PL: Użycie modelu językowego jako automatycznego ewaluatora w trybie punktowym, parami lub z odpowiedzią wzorcową.
- EN: Using a language model as an automatic evaluator in single-answer, pairwise or reference-guided mode.

## In one sentence

- PL: Jeden model czyta odpowiedź innego i ocenia ją według podanych kryteriów, zamiast człowieka.
- EN: One model reads another model's answer and grades it against given criteria, in place of a person.

## Problem it solves

- PL: Ludzie nie nadążają czytać tysięcy odpowiedzi po każdej zmianie, a prosta reguła nie oceni tonu ani przydatności.
- EN: People cannot read thousands of answers after every change, and a simple rule cannot judge tone or usefulness.

## What it does

- PL: Działa jak egzaminator z kluczem: dostaje pytanie, odpowiedź i kryteria, wystawia ocenę albo wybiera lepszą z dwóch wersji.
- EN: It works like an examiner with a marking key: given the question, answer and criteria, it scores it or picks the better of two versions.

## Everyday example

- PL: Po zmianie instrukcji asystenta obsługi klienta drugi model w nocy ocenia pięćset rozmów i rano widzisz, które odpowiedzi zrobiły się mniej uprzejme.
- EN: After you change a support assistant's instructions, a second model grades five hundred conversations overnight, and by morning you see which replies became less polite.

## This concerns you if you…

- PL: oceniasz wiele odpowiedzi, których nie zdążysz przeczytać
- PL: jakość zależy od tonu, kompletności albo przydatności
- PL: porównujesz dwie wersje instrukcji dla modelu
- EN: you assess more answers than you can read
- EN: quality depends on tone, completeness or usefulness
- EN: you compare two versions of a model's instructions

## Keywords

MT-Bench · pairwise comparison · single answer grading · reference-guided grading · multi-judge consensus · chain-of-thought judging · judge prompt

## How it works

- PL: Prompt sędziego zawiera kryteria, zadanie i ocenianą odpowiedź; model zwraca uzasadnienie i werdykt. Warianty: ocena pojedynczej odpowiedzi w skali, porównanie parami z możliwością remisu oraz ocena z odpowiedzią wzorcową, pomocna np. w matematyce. Wynik sędziego kalibruje się na próbce ocen ludzi.
- EN: The judge prompt holds the criteria, task and answer; the model returns a rationale and verdict. Variants are single-answer grading on a scale, pairwise comparison with ties, and reference-guided grading, which helps on problems such as maths. Judge output is calibrated against a sample of human ratings.

## Limits

- PL: Sędzia bywa niedeterministyczny i podatny na kolejność, długość i styl odpowiedzi. Potrafi przepuścić błąd w zadaniu, które sam umiałby rozwiązać. Każde wywołanie kosztuje, a bez porównania z ocenami ludzi nie wiadomo, czy mu ufać.
- EN: Judges can be non-deterministic and sensitive to answer order, length and style. They may miss errors on problems they could solve themselves. Every call costs money, and without comparison to human ratings their trustworthiness is unknown.

## Key terms

- PL: **ocena parami**: Sędzia wybiera lepszą z dwóch odpowiedzi albo ogłasza remis.
- PL: **ocena z wzorcem**: Sędzia dostaje poprawne rozwiązanie i porównuje z nim odpowiedź.
- PL: **werdykt pass/fail**: Binarna decyzja zamiast skali punktowej, łatwiejsza do sprawdzenia.
- EN: **pairwise comparison**: The judge picks the better of two answers or declares a tie.
- EN: **reference-guided grading**: The judge receives a correct solution and compares the answer to it.
- EN: **pass/fail verdict**: A binary decision instead of a score scale, easier to verify.

## Know first

- [Budowa polecenia: instrukcje, rola i znaczniki (Prompt structure: instructions, roles and delimiters)](https://aiatlasgraph.com/t/promptstructure.md)
- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md)

## Subtopics (1 direct, 1 in total)

- [Uprzedzenia sędziów LLM: kolejność, długość, własny styl (LLM judge biases and mitigation)](https://aiatlasgraph.com/t/judgebias.md): Systematic errors of LLM judges (position, verbosity, self-preference) and techniques to reduce them.

## Related topics

Untyped, symmetric "see also" links.

- [Walidacja ewaluatorów (Evaluator validation against human labels)](https://aiatlasgraph.com/t/judgevalidation.md)

## Sources

- [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](<https://arxiv.org/abs/2306.05685>) `zheng-llmjudge-2023` · by Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica
- [Demystifying evals for AI agents](<https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents>) `anthropic-agent-evals-2026` · by Mikaela Grace, Jeremy Hadfield, Rodrigo Olivares, Jiri De Jonghe (Anthropic)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/llmjudge · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30