# Łączenie etykiet od wielu oceniających

EN: **Crowdsourced label aggregation** · id `labelaggregation` · aliases: label aggregation, truth inference, learning from crowds

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Etykietowanie i feedback](https://aiatlasgraph.com/t/annotation.md) › Łączenie etykiet od wielu oceniających

## Description

- PL: Wnioskowanie prawdziwej etykiety i wiarygodności anotatorów z wielokrotnych, zaszumionych ocen tych samych przykładów.
- EN: Inferring the true label and annotator reliability from repeated, noisy judgements of the same items.

## In one sentence

- PL: Wyznaczanie jednej wiarygodnej etykiety z wielu, czasem sprzecznych odpowiedzi różnych osób oznaczających te same dane.
- EN: Working out one trustworthy label from several, sometimes conflicting answers given by different people labelling the same data.

## Problem it solves

- PL: Osoby oznaczające dane mylą się, spieszą albo różnie rozumieją instrukcję, a zwykłe głosowanie traktuje wszystkich jednakowo.
- EN: Labellers make mistakes, rush or read instructions differently, while a plain vote treats everyone the same.

## What it does

- PL: Uczy się, kto jest rzetelny, a kto często się myli, i daje większą wagę głosom osób, które zwykle mają rację.
- EN: It learns who is reliable and who often errs, and gives more weight to the votes of people who are usually right.

## Everyday example

- PL: Dziesięć osób ocenia, czy komentarz jest obraźliwy, a system ustala końcową ocenę, mniej licząc się z kimś, kto klika na chybił-trafił.
- EN: Ten people judge whether a comment is offensive, and the system settles the final label while discounting someone clicking at random.

## This concerns you if you…

- PL: zlecasz oznaczanie danych wielu osobom
- PL: dostajesz sprzeczne oceny tych samych przykładów
- EN: outsource data labelling to many people
- EN: get conflicting labels for the same examples

## Keywords

Dawid-Skene · majority vote · GLAD · MACE · Crowd-Kit · Bradley-Terry · EM algorithm · ROVER

## How it works

- PL: Model probabilistyczny traktuje prawdziwą etykietę jako zmienną ukrytą, a każdemu anotatorowi przypisuje macierz pomyłek lub poziom kompetencji. Algorytm EM naprzemiennie szacuje etykiety i parametry anotatorów; dla porównań parami stosuje się modele typu Bradley–Terry, a dla tekstu i masek osobne metody.
- EN: A probabilistic model treats the true label as a latent variable and gives each annotator a confusion matrix or skill level. The EM algorithm alternates between estimating labels and annotator parameters; pairwise comparisons use Bradley–Terry-type models, and text or masks have dedicated methods.

## Limits

- PL: Metody zakładają zwykle niezależność błędów anotatorów i wymagają kilku ocen na przykład. Gdy większość myli się systematycznie albo zadanie jest subiektywne, agregacja utrwala błąd lub zaciera uzasadniony spor.
- EN: Methods usually assume independent annotator errors and need several labels per item. When most annotators err systematically or the task is subjective, aggregation entrenches the error or erases legitimate disagreement.

## Key terms

- PL: **macierz pomyłek**: Tabela, jak często osoba myli jedną klasę z drugą.
- PL: **algorytm EM**: Naprzemienne zgadywanie ukrytych wartości i parametrów modelu.
- PL: **głosowanie większościowe**: Wybór etykiety wskazanej przez najwięcej osób.
- EN: **confusion matrix**: A table of how often a person mistakes one class for another.
- EN: **EM algorithm**: Alternately guessing hidden values and model parameters.
- EN: **majority vote**: Choosing the label picked by the most people.

## Know first

- [Estymacja parametrów (największa wiarygodność) (Parameter estimation (maximum likelihood, MAP))](https://aiatlasgraph.com/t/mle.md)
- [Twierdzenie Bayesa i wnioskowanie bayesowskie (Bayes' theorem and Bayesian inference)](https://aiatlasgraph.com/t/bayesinference.md)

## Related topics

Untyped, symmetric "see also" links.

- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md)

## Sources

- [Learning from Crowds with Crowd-Kit](<https://arxiv.org/abs/2109.08584>) `ustalov-crowdkit-2021` · by Dmitry Ustalov, Nikita Pavlichenko, Boris Tseitlin

---

AI Atlas revision 127 (2026-11-03) · HTML: https://aiatlasgraph.com/t/labelaggregation · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-03