# Ocena według rubryki i listy kontrolnej

EN: **Rubric-based and checklist grading** · id `rubricgrading` · aliases: rubric grading, score rubric, checklist evaluation, natural language assertions, rubryka oceny

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ocena ludzi i modeli](https://aiatlasgraph.com/t/judges.md) › Ocena według rubryki i listy kontrolnej

## Description

- PL: Ocena odpowiedzi według jawnych kryteriów z opisem poziomów lub binarnych punktów kontrolnych, wykonywana przez ludzi lub sędziego LLM.
- EN: Grading answers against explicit criteria with level descriptions or binary checklist items, done by people or an LLM judge.

## In one sentence

- PL: Zamiast pytać „czy to dobre?”, rozpisujesz, co dokładnie musi się znaleźć w dobrej odpowiedzi, i sprawdzasz punkt po punkcie.
- EN: Instead of asking 'is this good?', you spell out what a good answer must contain and check it point by point.

## Problem it solves

- PL: Ogólne pytanie o jakość daje chwiejne, niezrozumiałe oceny, z których nie wiadomo, co poprawić.
- EN: A vague quality question gives shaky, opaque scores that do not tell you what to fix.

## What it does

- PL: Jak klucz egzaminacyjny z opisem każdej oceny: oceniający, człowiek albo model, przyznaje punkty za konkretne, nazwane elementy.
- EN: Like an exam key that describes each grade: the grader, human or model, awards points for specific, named elements.

## Everyday example

- PL: Odpowiedź o zwrocie towaru dostaje punkt za podanie terminu, punkt za link do formularza i punkt za brak obietnic sprzecznych z regulaminem.
- EN: A reply about a product return earns a point for stating the deadline, one for linking the form and one for making no promises against the policy.

## This concerns you if you…

- PL: wiesz, czego oczekujesz, ale trudno to zapisać regułą
- PL: chcesz wiedzieć, który element odpowiedzi zawodzi
- PL: oceny różnych osób się rozjeżdżają
- EN: you know what you expect but cannot write it as a rule
- EN: you want to know which part of an answer fails
- EN: different people's ratings disagree

## Keywords

score rubric · Prometheus · checklist evaluation · partial credit · rubrics as rewards · natural language assertions

## How it works

- PL: Rubryka wymienia kryteria i opisuje, jak wygląda każdy poziom oceny, często z odpowiedzią wzorcową. Wariant listy kontrolnej rozbija oczekiwania na niezależne twierdzenia tak/nie, które sumuje się w częściową punktację. Te same rubryki mogą służyć jako sygnał nagrody w treningu.
- EN: A rubric lists criteria and describes each score level, often with a reference answer. The checklist variant splits expectations into independent yes/no assertions summed into partial credit. The same rubrics can also serve as a reward signal in training.

## Limits

- PL: Rubryka jest tak dobra jak jej autor: pomija to, czego nie przewidział. Zbyt szczegółowe punkty karzą poprawne, ale inne rozwiązania. Pisanie rubryk dla wielu zadań wymaga wiedzy dziedzinowej i czasu.
- EN: A rubric is only as good as its author and misses what they did not foresee. Over-specific items penalise valid but different solutions. Writing rubrics for many tasks takes domain expertise and time.

## Key terms

- PL: **rubryka**: Kryteria oceny z opisem, jak wygląda każdy poziom punktacji.
- PL: **częściowa punktacja**: Punkty za spełnione elementy zamiast jednej oceny za całość.
- PL: **asercja w języku naturalnym**: Pojedyncze twierdzenie o odpowiedzi, które sędzia uznaje za spełnione lub nie.
- EN: **rubric**: Grading criteria describing what each score level looks like.
- EN: **partial credit**: Points for satisfied elements instead of one grade for the whole.
- EN: **natural language assertion**: A single statement about an answer that the judge marks met or not.

## Know first

- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md)
- [Budowa polecenia: instrukcje, rola i znaczniki (Prompt structure: instructions, roles and delimiters)](https://aiatlasgraph.com/t/promptstructure.md)

## Related topics

Untyped, symmetric "see also" links.

- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)

## Sources

- [Prometheus: Inducing Fine-grained Evaluation Capability in Language Models](<https://arxiv.org/abs/2310.08491>) `prometheus-rubric-2023` · by Seungone Kim, Jamin Shin, Yejin Cho, Joel Jang, Shayne Longpre, Hwaran Lee, Sangdoo Yun, Seongjin Shin, Sungdong Kim, James Thorne, Minjoon Seo
- [Demystifying evals for AI agents](<https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents>) `anthropic-agent-evals-2026` · by Mikaela Grace, Jeremy Hadfield, Rodrigo Olivares, Jiri De Jonghe (Anthropic)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/rubricgrading · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30