Optymalizacja preferencji z ocen binarnych

Preference optimization from binary desirability feedback · id kto · aliases: KTO, Kahneman–Tversky optimization, binary-feedback preference optimization

Dopasowanie modelu na pojedynczych odpowiedziach oznaczonych jako pożądane lub niepożądane, z funkcją użyteczności z teorii perspektywy.

Aligning a model on single responses labelled desirable or undesirable, using a utility function from prospect theory.

In one sentence

Uczenie modelu na prostych ocenach pojedynczych odpowiedzi, jak łapka w górę lub w dół, bez zestawiania ich w pary.

Training a model on simple ratings of single answers, like a thumbs up or down, without arranging them into pairs.

Problem it solves

Zebranie porównań dwóch odpowiedzi na to samo pytanie jest drogie, a proste oceny od użytkowników leżą niewykorzystane.

Collecting comparisons of two answers to the same question is expensive, while simple user ratings go unused.

What it does

Jak kucharz, który poprawia przepisy na podstawie tego, które talerze wróciły puste, a które pełne, bez degustacji porównawczej.

Like a cook who improves recipes based on which plates come back empty and which come back full, with no side-by-side tasting.

Everyday example

Aplikacja zbiera kliknięcia „pomocne” i „niepomocne” pod odpowiedziami czatu, a potem na ich podstawie dostraja model.

An app collects 'helpful' and 'not helpful' clicks under chat answers, then uses them to fine-tune the model.

This concerns you if you…

Sources