# Zgodność anotatorów

EN: **Inter-annotator agreement** · id `annotationguidelines` · aliases: inter-annotator agreement, inter-coder agreement, Cohen's kappa, Krippendorff's alpha

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Etykietowanie i feedback](https://aiatlasgraph.com/t/annotation.md) › Zgodność anotatorów

## Description

- PL: Mierzenie, na ile niezależni anotatorzy przypisują zgodne etykiety, z uwzględnieniem zgodności przypadkowej. Niski wynik wymaga diagnozy: może wynikać z niejasnych kategorii, subiektywności zadania, rozkładu klas albo źle dobranego współczynnika.
- EN: Measuring how consistently independent annotators assign labels while accounting for chance agreement. A low score requires diagnosis: it may reflect unclear categories, task subjectivity, class distribution, or an unsuitable agreement coefficient.

## In one sentence

- PL: To sprawdzanie, na ile różne osoby podobnie oceniają te same przykłady.
- EN: This checks how consistently different people judge the same examples.

## Problem it solves

- PL: Ta sama wiadomość dostaje różne oznaczenia, więc trudno ustalić wiarygodne odpowiedzi do nauki i sprawdzania modelu.
- EN: The same message receives different labels, making reliable learning examples and model tests hard to establish.

## What it does

- PL: Porównuje niezależne oceny, uwzględniając zgodność przypadkową; rozbieżności pomagają zauważyć niejasne kategorie lub trudne przypadki.
- EN: It compares independent ratings while accounting for chance agreement; disagreements can reveal unclear categories or difficult cases.

## Everyday example

- PL: Przed uczeniem asystenta prosisz różne osoby o ocenę tych samych reklamacji i sprawdzasz, które wiadomości budzą rozbieżne oceny.
- EN: Before training an assistant, you ask different people to rate the same complaints and check which messages receive conflicting judgements.

## This concerns you if you…

- PL: kilka osób ocenia te same materiały
- PL: chcesz sprawdzić, czy kategorie są rozumiane podobnie
- EN: have several people judging the same material
- EN: want to check whether categories are understood consistently

## Keywords

Cohen's kappa · Scott's pi · Krippendorff's alpha · Fleiss' kappa · weighted kappa · percent agreement

## How it works

- PL: Te same przykłady otrzymują niezależne oceny, a współczynnik porównuje zgodność obserwowaną z odpowiednią zgodnością oczekiwaną. Dobór miary zależy od liczby anotatorów, skali ocen i brakujących danych.
- EN: The same examples receive independent judgements, and a coefficient compares observed agreement with an appropriate expected agreement. Metric selection depends on annotator count, rating scale and missing data.

## Limits

- PL: Wynik zależy od rozkładu kategorii i założeń współczynnika. Niska zgodność może wskazywać niejasne zadanie lub subiektywność; wysoka nie zastępuje kontroli poprawności.
- EN: Results depend on category prevalence and coefficient assumptions. Low agreement may reflect an unclear or subjective task; high agreement cannot replace correctness checks.

## Key terms

- PL: **kappa**: Współczynnik zgodności ocen uwzględniający określony model zgodności przypadkowej.
- PL: **alfa Krippendorffa**: Miara zgodności obsługująca wielu anotatorów, różne skale i brakujące oceny.
- EN: **kappa**: An agreement coefficient accounting for a specified model of chance agreement.
- EN: **Krippendorff's alpha**: An agreement measure supporting multiple annotators, different scales and missing ratings.

## Know first

- [Statystyka i niepewność (Statistics and uncertainty)](https://aiatlasgraph.com/t/probability.md)

## Examples

- PL: Kappa Cohena · pi Scotta · alfa Krippendorffa · współczynniki ważone
- EN: Cohen's kappa · Scott's pi · Krippendorff's alpha · weighted coefficients

## Related topics

Untyped, symmetric "see also" links.

- [Walidacja ewaluatorów (Evaluator validation against human labels)](https://aiatlasgraph.com/t/judgevalidation.md)

## Sources

- [Survey Article: Inter-Coder Agreement for Computational Linguistics](<https://aclanthology.org/J08-4004/>) `artstein-poesio-2008` · by Ron Artstein, Massimo Poesio

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/annotationguidelines · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30