Zbieranie danych preferencji (porównania odpowiedzi)

Preference data collection (response comparisons) · id preferencedatacollection · aliases: human preference data, pairwise comparison data, RLHF data collection, dane preferencji

Projektowanie i prowadzenie zbierania porównań par lub rankingów odpowiedzi od ludzi jako danych dla modeli nagrody i optymalizacji preferencji.

Designing and running collection of pairwise comparisons or response rankings from people as data for reward models and preference optimisation.

In one sentence

Ludzie porównują dwie odpowiedzi modelu i wskazują lepszą, a tysiące takich wyborów uczą model, czego oczekujemy.

People compare two model answers and pick the better one, and thousands of such choices teach the model what we expect.

Problem it solves

Trudno spisać zasady dobrej odpowiedzi, a łatwo powiedzieć, która z dwóch jest lepsza.

It is hard to write down rules for a good answer, but easy to say which of two is better.

What it does

Jak degustacja w ciemno: zamiast oceniać od zera do dziesięciu, wybierasz, które z dwóch dań smakuje bardziej.

Like a blind tasting: instead of scoring from zero to ten, you choose which of two dishes tastes better.

Everyday example

Czat pokazuje ci dwie wersje odpowiedzi i pyta, która jest lepsza; twój wybór może trafić do takiego zbioru.

A chatbot shows you two versions of an answer and asks which is better; your choice may end up in such a dataset.

This concerns you if you…

• widzisz w czacie pytanie, która odpowiedź jest lepsza
• dostrajasz model do stylu swojej firmy
• zlecasz oznaczanie danych dla modelu językowego
• see a chat asking which answer is better
• tune a model to your company's style
• commission labelling for a language model

Related topics

• DPO i optymalizacja offline (Direct preference optimization and offline variants)
• Rankingi z głosami ludzi (areny) (Human-preference leaderboards (arenas))

Sources

• Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback · Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, Jared Kaplan