# Klasyczny RLHF: SFT → model nagrody → PPO

EN: **Classic RLHF pipeline with PPO** · id `rlhfppo` · aliases: RLHF, RLHF with PPO, InstructGPT pipeline, reinforcement learning from human feedback

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Post-training](https://aiatlasgraph.com/t/posttraining.md) › [Preferencje i RL dla LLM](https://aiatlasgraph.com/t/preferences.md) › [RL z nagrodą](https://aiatlasgraph.com/t/rlpolicy.md) › Klasyczny RLHF: SFT → model nagrody → PPO

## Description

- PL: Trzyetapowa receptura RLHF spopularyzowana przez InstructGPT: dostrajanie na demonstracjach, uczenie modelu nagrody z rankingów ludzi, a następnie optymalizacja polityki przez PPO z ograniczeniem odchylenia od modelu referencyjnego.
- EN: The three-stage RLHF recipe popularised by InstructGPT: supervised fine-tuning on demonstrations, training a reward model from human rankings, then policy optimisation with PPO while constraining divergence from a reference model.

## In one sentence

- PL: To trening modelu łączący wzorcowe odpowiedzi, oceny ludzi i dalszą naukę z wyuczoną nagrodą.
- EN: This trains a model through reference responses, human evaluations and further learning with a learned reward.

## Problem it solves

- PL: Model umie odpowiadać, ale potrzebujesz systematycznie zbliżyć jego zachowanie do preferencji ludzi.
- EN: A model can answer, but you need to systematically align its behaviour with human preferences.

## What it does

- PL: Najpierw model ćwiczy demonstracje, osobny model uczy się ocen, a trening z nagrodą poprawia odpowiedzi z kontrolą odchylenia od bazy.
- EN: First a model learns demonstrations, a separate evaluator learns preferences, then reward-based training improves responses while limiting deviation from the base.

## Everyday example

- PL: Ludzie porównują odpowiedzi asystenta, model oceny uczy się tych wyborów, a kolejny trening korzysta z jego ocen.
- EN: People compare assistant responses, an evaluator learns their choices, and further training uses its scores.

## This concerns you if you…

- PL: masz demonstracje oraz porównania od ludzi
- PL: poznajesz klasyczny wieloetapowy trening preferencji
- EN: have demonstrations and human comparisons
- EN: study a classic multi-stage preference-training process

## Keywords

InstructGPT · human preference rankings · PPO · value model · KL penalty · generalized advantage estimation · clipped surrogate objective

## How it works

- PL: Demonstracje inicjalizują politykę, a porównania ludzkie uczą model nagrody oceniający jej odpowiedzi. PPO aktualizuje politykę na generowanych próbkach, używając estymatora przewagi oraz kontroli odchylenia od wcześniejszej i referencyjnej polityki.
- EN: Demonstrations initialise the policy, while human comparisons train a reward model scoring its responses. PPO updates the policy on generated samples using advantage estimates and controls on departure from previous and reference policies.

## Limits

- PL: Wiele współpracujących modeli zwiększa pamięć i koszt operacyjny. Jakość nadzoru oraz estymacji przewagi wpływa na stabilność; maksymalizacja wyuczonej nagrody może rozchodzić się z rzeczywistymi preferencjami ludzi.
- EN: Multiple cooperating models increase memory and operational costs. Supervision and advantage-estimation quality affect stability; maximising learned rewards can diverge from actual human preferences.

## Key terms

- PL: **krytyk**: Model przewidujący wartość stanu, pomocny w estymacji przewagi.
- PL: **przewaga**: Ocena, o ile wynik działania przewyższa wybrany punkt odniesienia.
- EN: **critic**: A model predicting state value to help estimate advantages.
- EN: **advantage**: An estimate of how much an action outcome exceeds a baseline.

## Know first

- [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md)
- [Proximal Policy Optimization (PPO) (Proximal policy optimization (PPO))](https://aiatlasgraph.com/t/ppo.md)
- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)

## Examples

- PL: InstructGPT · rankingi odpowiedzi · PPO z modelem wartości · kara KL
- EN: InstructGPT · answer rankings · PPO with a value model · KL penalty

## Related topics

Untyped, symmetric "see also" links.

- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)
- [Proximal Policy Optimization (PPO) (Proximal policy optimization (PPO))](https://aiatlasgraph.com/t/ppo.md)

## Sources

- [Training language models to follow instructions with human feedback](<https://arxiv.org/abs/2203.02155>) `instructgpt-2022` · by Long Ouyang, Jeff Wu, Xu Jiang i in. (OpenAI)
- [Reinforcement Learning from Human Feedback (rlhfbook.com)](<https://rlhfbook.com/>) `rlhfbook` · by Nathan Lambert

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/rlhfppo · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30