Etykietowanie i feedback

Annotation and feedback · id annotation

Tworzenie odpowiedzi wzorcowych i ocen.

Producing reference answers and judgements.

In one sentence

To oznaczanie przykładów i ocenianie odpowiedzi, żeby pokazać modelowi, co uznajemy za właściwe.

This labels examples and rates answers to show a model what counts as a suitable result.

Problem it solves

Same zdjęcia lub wiadomości nie mówią modelowi, które odpowiedzi uznajesz za poprawne.

Photos or messages alone do not tell a model which answers you consider correct.

What it does

Osoby lub programy przypisują kategorię, zapisują wzorcową odpowiedź albo wybierają lepszy wynik spośród kilku propozycji.

People or programs assign a category, provide a reference answer or choose the better result from several proposals.

Everyday example

Oznaczasz wiadomości od klientów jako pytania, reklamacje lub prośby o zmianę, zanim nauczysz model je rozdzielać.

You mark customer messages as questions, complaints or change requests before teaching a model to sort them.

This concerns you if you…

• masz przykłady, ale brakuje im poprawnych odpowiedzi
• chcesz przekazać modelowi, które wyniki są lepsze
• have examples without correct answers attached
• want to show a model which results are better

Examples

• Anotacja · pary preferencji
• Annotation · preference pairs

Subtopics

• Aktywne uczenie (active learning) (Active learning): The model picks which examples are worth labelling next, to reach good quality with fewer labels.
• Etykietowanie z pomocą LLM (LLM-assisted annotation): Using language models to produce labels, rationales and pairwise judgements, with quality checked on a human-reviewed sample.
• Słaba superwizja i funkcje etykietujące (Weak supervision and labeling functions): Instead of labelling by hand, you write many simple, imperfect rules and a model combines their votes into a single better label.
• Zbieranie danych preferencji (porównania odpowiedzi) (Preference data collection (response comparisons)): Designing and running collection of pairwise comparisons or response rankings from people as data for reward models and preference optimisation.
• Zgodność anotatorów (Inter-annotator agreement): Measuring how consistently independent annotators assign labels while accounting for chance agreement. A low score requires diagnosis: it may reflect unclear categories, task subjectivity, class distribution, or an unsuitable agreement coefficient.

Related topics

• Analiza błędów (Error analysis)
• Zbieranie opinii użytkowników (jawnych i niejawnych) (Explicit and implicit user feedback)

Sources

• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.