Ocena ludzi i modeli

Human evaluation and model judges · id judges

Ocena odpowiedzi z kontrolą jakości samych ocen.

Judging answers, with quality control on the judging itself.

In one sentence

To ocenianie odpowiedzi przez ludzi lub inne modele według ustalonych kryteriów.

This assesses answers through people or other models using defined criteria.

Problem it solves

Jakości, przydatności i zgodności odpowiedzi nie zawsze da się rozstrzygnąć prostą regułą programu.

Answer quality, usefulness and relevance cannot always be determined through a simple software rule.

What it does

Daje oceniającym przykłady i kryteria, porównuje ich oceny oraz sprawdza pomyłki i rozbieżności samego procesu oceniania.

It provides examples and criteria to evaluators, compares their ratings and checks errors and disagreements in the evaluation itself.

Everyday example

Ludzie i model oceniają szkice odpowiedzi klientom, a sporne przypadki służą doprecyzowaniu zasad i sprawdzeniu oceniającego modelu.

People and a model assess customer reply drafts, with disputed cases used to clarify criteria and check the evaluator model.

This concerns you if you…

• potrzebujesz ocenić cechy trudne do zapisania regułą
• chcesz kontrolować jakość samych ocen
• need to assess qualities hard to express as rules
• want to check the quality of the assessments themselves

Examples

• LLM-as-judge · zgodność sędziów
• LLM-as-judge · inter-rater agreement

Subtopics

• Model językowy jako sędzia (LLM-as-a-judge) (LLM-as-a-judge): Using a language model as an automatic evaluator in single-answer, pairwise or reference-guided mode.
  • Uprzedzenia sędziów LLM: kolejność, długość, własny styl (LLM judge biases and mitigation): Systematic errors of LLM judges (position, verbosity, self-preference) and techniques to reduce them.
• Ocena według rubryki i listy kontrolnej (Rubric-based and checklist grading): Grading answers against explicit criteria with level descriptions or binary checklist items, done by people or an LLM judge.
• Walidacja ewaluatorów (Evaluator validation against human labels): Testing an LLM judge or classifier against human labels, on a set that played no part in tuning it.

Related topics

• Automatyczne sprawdzanie krótkich odpowiedzi (Automatic short-answer grading)
• Autor i recenzent (Maker–checker review)
• Etykietowanie z pomocą LLM (LLM-assisted annotation)
• Modele nagrody (Reward models)
• Rankingi z głosami ludzi (areny) (Human-preference leaderboards (arenas))
• Skalowalny nadzór (debata, weak-to-strong) (Scalable oversight)

Sources

• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• Hugging Face · Agents Course · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja.
• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
• How to build your first team of agents · X article · sponsored (Raft) · Machina (X): Original link not found; file saved by the user. Structure only — no statistics, no product claims.
• Anthropic Courses · Prompt evaluations · Anthropic