# Iteracyjne DPO na świeżych danych preferencji EN: **Iterative DPO with newly generated preference data** · id `onlinedpo` · aliases: iterative DPO, online DPO, iteracyjne DPO Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › [DPO i optymalizacja offline](https://aiatlasgraph.com/t/dpo.md) › Iteracyjne DPO na świeżych danych preferencji ## Description - PL: Powtarzane rundy DPO, w których pary odpowiedzi generuje bieżący model, a ocenia je człowiek, model nagrody lub sędzia. - EN: Repeated rounds of DPO in which the current model generates answer pairs and a human, reward model or judge rates them. ## In one sentence - PL: Uczenie modelu w kolejnych rundach: model pisze nowe odpowiedzi, ktoś je ocenia, a model uczy się na tych świeżych ocenach. - EN: Training a model in rounds: it writes new answers, someone rates them, and the model learns from those fresh ratings. ## Problem it solves - PL: Stary zbiór porównań opisuje odpowiedzi innego modelu, więc z czasem przestaje pasować do tego, co twój model faktycznie pisze. - EN: An old set of comparisons describes another model's answers, so it gradually stops matching what your model actually writes. ## What it does - PL: Jak trener, który co tydzień nagrywa aktualny mecz drużyny i omawia właśnie te błędy, zamiast puszczać nagrania sprzed roku. - EN: Like a coach who records each week's match and reviews those mistakes, instead of showing footage from a year ago. ## Everyday example - PL: Asystent co tydzień odpowiada na nowe pytania z bazy, a model oceniający wybiera lepsze wersje do kolejnej rundy nauki. - EN: Each week an assistant answers new questions from a pool, and a rating model picks the better versions for the next round of training. ## This concerns you if you… - PL: masz model lub sędziego, który ocenia odpowiedzi automatycznie - PL: jednorazowy trening na gotowych parach przestał dawać poprawę - EN: have a model or judge that rates answers automatically - EN: found one-off training on ready-made pairs stopped helping ## Keywords online DPO · iterative DPO · on-policy sampling · proxy reward model · Self-Rewarding Language Models · RLHFlow · OAIF · best-of-n pairs ## How it works - PL: W każdej iteracji bieżąca polityka generuje kilka odpowiedzi na prompty, model preferencji (lub LLM-sędzia albo sam model w wariancie self-rewarding) wybiera lepszą i gorszą, nowe pary trafiają do danych i wykonuje się krok DPO. Dane on-policy zmniejszają rozjazd rozkładów. - EN: In each iteration the current policy generates several answers per prompt, a preference model (or an LLM judge, or the model itself in self-rewarding variants) picks better and worse, new pairs join the data and a DPO step runs. On-policy data reduces distribution mismatch. ## Limits - PL: Jakość zależy od oceniającego, a jego błędy mogą wzmacniać się w kolejnych rundach. Generowanie i ocenianie nowych par zwiększa koszt; pierwotne wyniki iteracyjnego DPO obejmowały tylko trzy iteracje w jednym ustawieniu, bez ewaluacji bezpieczeństwa, i wykazały wydłużanie odpowiedzi mogące zawyżać oceny automatyczne. - EN: Quality depends on the judge, whose errors may compound across rounds. Generating and scoring fresh pairs adds cost; the primary iterative-DPO results covered only three iterations in one setting, without safety evaluation, and showed longer outputs that may inflate automated judgments. ## Key terms - PL: **on-policy**: Dane wygenerowane przez aktualnie trenowany model, a nie przez inny. - PL: **zastępczy model preferencji**: Model naśladujący oceny ludzi, używany zamiast nich. - PL: **self-rewarding**: Wariant, w którym model sam ocenia swoje odpowiedzi jako sędzia. - EN: **on-policy**: Data generated by the model currently being trained, not another one. - EN: **proxy preference model**: A model imitating human ratings, used in their place. - EN: **self-rewarding**: A variant where the model judges its own answers. ## Know first - [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md) - [Ocena ludzi i modeli (Human evaluation and model judges)](https://aiatlasgraph.com/t/judges.md) ## Related topics Untyped, symmetric "see also" links. - [Obchodzenie celu: reward hacking i służalczość (Reward hacking, specification gaming and sycophancy)](https://aiatlasgraph.com/t/rewardhacking.md) ## Sources - [RLHF Workflow: From Reward Modeling to Online RLHF]() `dong-2024-rlhfworkflow` · by Hanze Dong, Wei Xiong, Bo Pang, Haoxiang Wang, Han Zhao, Yingbo Zhou, Nan Jiang, Doyen Sahoo, Caiming Xiong, Tong Zhang - [Self-Rewarding Language Models]() `yuan-2024-selfrewarding` · by Weizhe Yuan, Richard Yuanzhe Pang, Kyunghyun Cho, Xian Li, Sainbayar Sukhbaatar, Jing Xu, Jason Weston --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/onlinedpo · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30