# Etykietowanie i feedback

EN: **Annotation and feedback** · id `annotation`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › Etykietowanie i feedback

## Description

- PL: Tworzenie odpowiedzi wzorcowych i ocen.
- EN: Producing reference answers and judgements.

## In one sentence

- PL: To oznaczanie przykładów i ocenianie odpowiedzi, żeby pokazać modelowi, co uznajemy za właściwe.
- EN: This labels examples and rates answers to show a model what counts as a suitable result.

## Problem it solves

- PL: Same zdjęcia lub wiadomości nie mówią modelowi, które odpowiedzi uznajesz za poprawne.
- EN: Photos or messages alone do not tell a model which answers you consider correct.

## What it does

- PL: Osoby lub programy przypisują kategorię, zapisują wzorcową odpowiedź albo wybierają lepszy wynik spośród kilku propozycji.
- EN: People or programs assign a category, provide a reference answer or choose the better result from several proposals.

## Everyday example

- PL: Oznaczasz wiadomości od klientów jako pytania, reklamacje lub prośby o zmianę, zanim nauczysz model je rozdzielać.
- EN: You mark customer messages as questions, complaints or change requests before teaching a model to sort them.

## This concerns you if you…

- PL: masz przykłady, ale brakuje im poprawnych odpowiedzi
- PL: chcesz przekazać modelowi, które wyniki są lepsze
- EN: have examples without correct answers attached
- EN: want to show a model which results are better

## Keywords

annotation guidelines · preference pairs · labeling functions · human adjudication · inter-annotator agreement · control samples · label noise · active learning

## How it works

- PL: Instrukcja anotacji przekłada cel zadania na kategorie, odpowiedzi lub preferencje. Niezależne oceny, rozstrzyganie sporów i kontrolne próbki tworzą sygnał nadzorujący wraz z informacją o jego niepewności.
- EN: Annotation instructions translate the task objective into categories, answers or preferences. Independent judgements, adjudication and control samples produce a supervision signal with information about its uncertainty.

## Limits

- PL: Zgodność ocen nie dowodzi ich poprawności. Niejednoznaczne kategorie i wspólne uprzedzenia anotatorów mogą utrwalić błąd; trudne przypadki wymagają czasu i wiedzy dziedzinowej.
- EN: Agreement does not prove correctness. Ambiguous categories and shared annotator biases can reinforce errors; difficult cases require time and domain knowledge.

## Key terms

- PL: **anotacja**: Przypisywanie przykładom ocen według ustalonych zasad.
- PL: **rozstrzyganie sporów**: Ustalanie oceny referencyjnej po porównaniu sprzecznych anotacji.
- EN: **annotation**: Assigning judgements to examples under specified rules.
- EN: **adjudication**: Resolving conflicting annotations to establish a reference judgement.

## Know first

- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)

## Examples

- PL: Anotacja · pary preferencji
- EN: Annotation · preference pairs

## Subtopics (5 direct, 5 in total)

- [Aktywne uczenie (active learning) (Active learning)](https://aiatlasgraph.com/t/activelearning.md): The model picks which examples are worth labelling next, to reach good quality with fewer labels.
- [Etykietowanie z pomocą LLM (LLM-assisted annotation)](https://aiatlasgraph.com/t/llmannotation.md): Using language models to produce labels, rationales and pairwise judgements, with quality checked on a human-reviewed sample.
- [Słaba superwizja i funkcje etykietujące (Weak supervision and labeling functions)](https://aiatlasgraph.com/t/weaksupervision.md): Instead of labelling by hand, you write many simple, imperfect rules and a model combines their votes into a single better label.
- [Zbieranie danych preferencji (porównania odpowiedzi) (Preference data collection (response comparisons))](https://aiatlasgraph.com/t/preferencedatacollection.md): Designing and running collection of pairwise comparisons or response rankings from people as data for reward models and preference optimisation.
- [Zgodność anotatorów (Inter-annotator agreement)](https://aiatlasgraph.com/t/annotationguidelines.md): Measuring how consistently independent annotators assign labels while accounting for chance agreement. A low score requires diagnosis: it may reflect unclear categories, task subjectivity, class distribution, or an unsuitable agreement coefficient.

## Related topics

Untyped, symmetric "see also" links.

- [Analiza błędów (Error analysis)](https://aiatlasgraph.com/t/erroranalysis.md)
- [Zbieranie opinii użytkowników (jawnych i niejawnych) (Explicit and implicit user feedback)](https://aiatlasgraph.com/t/userfeedback.md)

## Sources

- [Full Stack Deep Learning (2022, archiwum)](<https://fullstackdeeplearning.com/course/2022/>) `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [Stanford CS336 · Language Modeling from Scratch (2025)](<https://cs336.stanford.edu/spring2025/>) `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/annotation · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30