# Optymalizacja preferencji z ocen binarnych

EN: **Preference optimization from binary desirability feedback** · id `kto` · aliases: KTO, Kahneman–Tversky optimization, binary-feedback preference optimization

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › Optymalizacja preferencji z ocen binarnych

## Description

- PL: Dopasowanie modelu na pojedynczych odpowiedziach oznaczonych jako pożądane lub niepożądane, z funkcją użyteczności z teorii perspektywy.
- EN: Aligning a model on single responses labelled desirable or undesirable, using a utility function from prospect theory.

## In one sentence

- PL: Uczenie modelu na prostych ocenach pojedynczych odpowiedzi, jak łapka w górę lub w dół, bez zestawiania ich w pary.
- EN: Training a model on simple ratings of single answers, like a thumbs up or down, without arranging them into pairs.

## Problem it solves

- PL: Zebranie porównań dwóch odpowiedzi na to samo pytanie jest drogie, a proste oceny od użytkowników leżą niewykorzystane.
- EN: Collecting comparisons of two answers to the same question is expensive, while simple user ratings go unused.

## What it does

- PL: Jak kucharz, który poprawia przepisy na podstawie tego, które talerze wróciły puste, a które pełne, bez degustacji porównawczej.
- EN: Like a cook who improves recipes based on which plates come back empty and which come back full, with no side-by-side tasting.

## Everyday example

- PL: Aplikacja zbiera kliknięcia „pomocne” i „niepomocne” pod odpowiedziami czatu, a potem na ich podstawie dostraja model.
- EN: An app collects 'helpful' and 'not helpful' clicks under chat answers, then uses them to fine-tune the model.

## This concerns you if you…

- PL: zbierasz od użytkowników oceny pojedynczych odpowiedzi
- PL: nie masz par odpowiedzi do porównania
- EN: collect user ratings of single answers
- EN: have no answer pairs to compare

## Keywords

KTO · prospect theory · HALO · human-aware losses · binary feedback · thumbs up/down · TRL KTOTrainer · loss aversion

## How it works

- PL: Każdą odpowiedź oznacza się binarnie. Strata inspirowana teorią perspektywy ocenia niejawną nagrodę (log-iloraz polityki i modelu referencyjnego) względem punktu odniesienia szacowanego z dywergencji KL i inaczej waży zyski oraz straty. Osobne wagi równoważą nierówne proporcje przykładów pozytywnych i negatywnych.
- EN: Each response gets a binary label. A prospect-theory-inspired loss scores the implicit reward (policy-to-reference log ratio) against a reference point estimated from KL divergence, weighting gains and losses differently. Separate weights balance uneven shares of positive and negative examples.

## Limits

- PL: Sygnał binarny niesie mniej informacji niż porównanie, a oceny użytkowników bywają szumne i stronnicze. Wymaga modelu referencyjnego; sami autorzy zaznaczają, że żadna strata tego typu nie jest najlepsza we wszystkich zastosowaniach.
- EN: A binary signal carries less information than a comparison, and user ratings can be noisy and biased. A reference model is still needed; the authors note that no loss of this family is best in every setting.

## Key terms

- PL: **teoria perspektywy**: Model z ekonomii behawioralnej: straty odczuwamy silniej niż równe im zyski.
- PL: **awersja do strat**: Skłonność do mocniejszego unikania strat niż szukania zysków.
- PL: **HALO**: Rodzina strat dopasowania odwzorowujących ludzkie skrzywienia poznawcze.
- EN: **prospect theory**: A behavioural-economics model: losses feel stronger than equal gains.
- EN: **loss aversion**: The tendency to avoid losses more strongly than to seek gains.
- EN: **HALO**: A family of alignment losses mirroring human cognitive biases.

## Know first

- [Zbieranie danych preferencji (porównania odpowiedzi) (Preference data collection (response comparisons))](https://aiatlasgraph.com/t/preferencedatacollection.md)

## Sources

- [KTO: Model Alignment as Prospect Theoretic Optimization](<https://arxiv.org/abs/2402.01306>) `ethayarajh-2024-kto` · by Kawin Ethayarajh, Winnie Xu, Niklas Muennighoff, Dan Jurafsky, Douwe Kiela

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/kto · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30