# Optymalizacja preferencji bez modelu referencyjnego

EN: **Reference-free preference optimization** · id `refreepo` · aliases: reference-free preference optimization, optymalizacja preferencji bez modelu referencyjnego

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › [DPO i optymalizacja offline](https://aiatlasgraph.com/t/dpo.md) › Optymalizacja preferencji bez modelu referencyjnego

## Description

- PL: Warianty DPO, które nie potrzebują zamrożonej kopii modelu jako punktu odniesienia.
- EN: DPO variants that need no frozen copy of the model as a reference point.

## In one sentence

- PL: Uproszczony sposób uczenia modelu lepszych odpowiedzi, przy którym nie trzeba trzymać w pamięci drugiej, zamrożonej kopii modelu.
- EN: A simpler way to teach a model better answers without keeping a second, frozen copy of the model in memory.

## Problem it solves

- PL: Trening na parach odpowiedzi zajmuje dwa razy więcej pamięci i wymaga osobnego etapu wstępnego dostrajania.
- EN: Training on answer pairs takes twice the memory and needs a separate fine-tuning stage first.

## What it does

- PL: Jak nauczyciel oceniający wypracowanie samo w sobie, zamiast za każdym razem porównywać je z zeszłoroczną wersją ucznia.
- EN: Like a teacher grading an essay on its own merits instead of always comparing it with the student's version from last year.

## Everyday example

- PL: Mały zespół na jednej karcie graficznej uczy model krótszych i konkretniejszych odpowiedzi na pytania klientów.
- EN: A small team with a single GPU teaches a model to give shorter, more concrete answers to customer questions.

## This concerns you if you…

- PL: masz ograniczoną pamięć karty graficznej
- PL: chcesz połączyć dostrajanie i naukę preferencji w jednym kroku
- EN: have limited GPU memory
- EN: want to combine fine-tuning and preference learning in one step

## Keywords

ORPO · SimPO · odds ratio · length normalization · target reward margin · TRL ORPOTrainer · CPO · Bradley-Terry

## How it works

- PL: ORPO dodaje do zwykłej straty SFT karę opartą na ilorazie szans odpowiedzi wybranej i odrzuconej, łącząc oba etapy w jeden trening. SimPO jako niejawną nagrodę bierze średni logarytm prawdopodobieństwa odpowiedzi (normalizowany długością) i wymaga marginesu między parą.
- EN: ORPO adds to the usual SFT loss a penalty based on the odds ratio of chosen versus rejected answers, merging both stages into one run. SimPO uses the length-normalised average log-probability of a response as the implicit reward and requires a margin within each pair.

## Limits

- PL: Bez odniesienia słabiej kontroluje się odejście od pierwotnego modelu. Wyniki są wrażliwe na hiperparametry (margines, waga kary); przewagi raportowane na benchmarkach czatowych nie zawsze przenoszą się na inne zadania.
- EN: Without a reference, drift from the original model is less controlled. Results are sensitive to hyperparameters (margin, penalty weight); gains reported on chat benchmarks do not always transfer to other tasks.

## Key terms

- PL: **iloraz szans**: Stosunek szans wygenerowania jednej odpowiedzi do szans drugiej.
- PL: **normalizacja długością**: Dzielenie wyniku przez liczbę tokenów, by nie premiować dłuższych odpowiedzi.
- PL: **margines nagrody**: Wymagana minimalna przewaga odpowiedzi wybranej nad odrzuconą.
- EN: **odds ratio**: The ratio of the odds of generating one answer to another.
- EN: **length normalisation**: Dividing a score by token count so longer answers aren't favoured.
- EN: **reward margin**: The minimum required advantage of the chosen over the rejected answer.

## Know first

- [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md)
- [Statystyka i niepewność (Statistics and uncertainty)](https://aiatlasgraph.com/t/probability.md)

## Sources

- [ORPO: Monolithic Preference Optimization without Reference Model](<https://arxiv.org/abs/2403.07691>) `hong-2024-orpo` · by Jiwoo Hong, Noah Lee, James Thorne
- [SimPO: Simple Preference Optimization with a Reference-Free Reward](<https://arxiv.org/abs/2405.14734>) `meng-2024-simpo` · by Yu Meng, Mengzhou Xia, Danqi Chen

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/refreepo · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30