Etykietowanie z pomocą LLM

LLM-assisted annotation · id llmannotation · aliases: LLM annotation, LLM labeling

Używanie modeli językowych do tworzenia etykiet, uzasadnień i ocen par odpowiedzi, z kontrolą jakości na próbce sprawdzonej przez ludzi.

Using language models to produce labels, rationales and pairwise judgements, with quality checked on a human-reviewed sample.

In one sentence

To pomoc modelu językowego w oznaczaniu przykładów i ocenianiu odpowiedzi.

This uses a language model to help label examples and judge answers.

Ręczne oznaczanie dużego zbioru tekstów trwa długo i wymaga powtarzania podobnych ocen.

Labelling a large text collection by hand takes time and involves many repetitive judgements.

Model proponuje oznaczenia i uzasadnienia, a porównanie z próbką ocenioną przez ludzi pozwala sprawdzić ich jakość.

The model proposes labels and reasons, while comparison with a sample reviewed by people helps check their quality.

Model wstępnie dzieli opinie o sklepie na tematy, a ty porównujesz próbkę wyników z ocenami osób czytających te opinie.

A model groups shop reviews by topic, and you compare a sample of its results with people's judgements.

Etykiety i uzasadnienia od LLM · pary preferencji · filtrowanie słabych adnotacji
LLM labels and rationales · preference pairs · filtering weak annotations

Large Language Models for Data Annotation and Synthesis: A Survey · Zhen Tan, Dawei Li, Song Wang, Alimohammad Beigi, Bohan Jiang, Amrita Bhattacharjee, Mansooreh Karami, Jundong Li, Lu Cheng, Huan Liu