# Etykietowanie z pomocą LLM

EN: **LLM-assisted annotation** · id `llmannotation` · aliases: LLM annotation, LLM labeling

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Dane dla AI](https://aiatlasgraph.com/t/data.md) › [Etykietowanie i feedback](https://aiatlasgraph.com/t/annotation.md) › Etykietowanie z pomocą LLM

## Description

- PL: Używanie modeli językowych do tworzenia etykiet, uzasadnień i ocen par odpowiedzi, z kontrolą jakości na próbce sprawdzonej przez ludzi.
- EN: Using language models to produce labels, rationales and pairwise judgements, with quality checked on a human-reviewed sample.

## In one sentence

- PL: To pomoc modelu językowego w oznaczaniu przykładów i ocenianiu odpowiedzi.
- EN: This uses a language model to help label examples and judge answers.

## Problem it solves

- PL: Ręczne oznaczanie dużego zbioru tekstów trwa długo i wymaga powtarzania podobnych ocen.
- EN: Labelling a large text collection by hand takes time and involves many repetitive judgements.

## What it does

- PL: Model proponuje oznaczenia i uzasadnienia, a porównanie z próbką ocenioną przez ludzi pozwala sprawdzić ich jakość.
- EN: The model proposes labels and reasons, while comparison with a sample reviewed by people helps check their quality.

## Everyday example

- PL: Model wstępnie dzieli opinie o sklepie na tematy, a ty porównujesz próbkę wyników z ocenami osób czytających te opinie.
- EN: A model groups shop reviews by topic, and you compare a sample of its results with people's judgements.

## This concerns you if you…

- PL: musisz oznaczyć wiele podobnych tekstów
- PL: możesz sprawdzić próbkę proponowanych ocen
- EN: need to label many similar texts
- EN: can review a sample of proposed judgements

## Keywords

pairwise preference labeling · rubric-based annotation · label confidence · human adjudication · annotation agreement

## How it works

- PL: Prompt określa kategorie, kryteria i format oceny, a model etykietuje próbki lub porównuje odpowiedzi. Oceny zestawia się z anotacjami ludzi na próbce kontrolnej i kieruje rozbieżności do weryfikacji.
- EN: A prompt specifies categories, criteria and output format, and the model labels samples or compares answers. Judgements are compared with human annotations on a control sample, with disagreements sent for review.

## Limits

- PL: Oceny zależą od promptu, kolejności odpowiedzi i modelu. Błędy mogą być systematyczne, więc samo uzasadnienie brzmiące wiarygodnie nie wystarcza do przyjęcia etykiety.
- EN: Judgements depend on the prompt, answer order and model. Errors can be systematic, so a plausible rationale alone is insufficient grounds for accepting a label.

## Key terms

- PL: **ocena parami**: Porównanie dwóch odpowiedzi według wspólnego kryterium.
- PL: **próbka kontrolna**: Przykłady ze sprawdzonymi ocenami używane do pomiaru jakości anotacji.
- EN: **pairwise judgement**: Comparing two answers against a shared criterion.
- EN: **control sample**: Examples with reviewed judgements used to measure annotation quality.

## Know first

- [Prompty i kontekst (Prompting and context engineering)](https://aiatlasgraph.com/t/prompting.md)
- [Ocena ludzi i modeli (Human evaluation and model judges)](https://aiatlasgraph.com/t/judges.md)

## Examples

- PL: Etykiety i uzasadnienia od LLM · pary preferencji · filtrowanie słabych adnotacji
- EN: LLM labels and rationales · preference pairs · filtering weak annotations

## Related topics

Untyped, symmetric "see also" links.

- [Ocena ludzi i modeli (Human evaluation and model judges)](https://aiatlasgraph.com/t/judges.md)

## Sources

- [Large Language Models for Data Annotation and Synthesis: A Survey](<https://aclanthology.org/2024.emnlp-main.54/>) `llm-annotation-survey-2024` · by Zhen Tan, Dawei Li, Song Wang, Alimohammad Beigi, Bohan Jiang, Amrita Bhattacharjee, Mansooreh Karami, Jundong Li, Lu Cheng, Huan Liu

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/llmannotation · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30