Preferencje i RL dla LLM

Preference optimization and RL for LLMs · id preferences

Dostosowanie zachowania przy użyciu preferencji lub nagród.

Shaping behaviour with preferences or rewards.

In one sentence

To uczenie modelu zachowania na podstawie ocen, które odpowiedzi są bardziej pożądane.

This trains model behaviour using evaluations of which responses are more desirable.

Problem it solves

Kilka odpowiedzi wygląda poprawnie, ale różnią się użytecznością, stylem lub zgodnością z zasadami.

Several answers appear correct but differ in usefulness, style or compliance with principles.

What it does

Porównania odpowiedzi lub nagrody wpływają na trening, wzmacniając preferowane zachowania; jakość oceny decyduje, czego model faktycznie się uczy.

Response comparisons or rewards guide training towards preferred behaviour; evaluation quality determines what the model actually learns.

Everyday example

Porównujesz odpowiedzi na zgłoszenie i wybierasz tę, która jasno wyjaśnia następny krok bez zbędnych obietnic.

You compare replies to a request and prefer the one explaining the next step clearly without unnecessary promises.

This concerns you if you…

masz oceny jakości odpowiedzi
chcesz wpływać na styl lub zachowanie modelu
have response-quality evaluations
want to shape a model's style or behaviour

Examples

DPO · RLHF · reasoning RL

Subtopics

DPO i optymalizacja offline (Direct preference optimization and offline variants): Training directly on chosen–rejected answer pairs, with no separate reward model. Computationally cheaper than RL.
- Iteracyjne DPO na świeżych danych preferencji (Iterative DPO with newly generated preference data): Repeated rounds of DPO in which the current model generates answer pairs and a human, reward model or judge rates them.
- Optymalizacja preferencji bez modelu referencyjnego (Reference-free preference optimization): DPO variants that need no frozen copy of the model as a reference point.
Modele nagrody (Reward models): A model trained on human judgements that scores answers. Used for RL, data filtering and evaluation.
Optymalizacja preferencji z ocen binarnych (Preference optimization from binary desirability feedback): Aligning a model on single responses labelled desirable or undesirable, using a utility function from prospect theory.
RL z nagrodą (Reinforcement learning with rewards): Iteratively improving the model's policy against a reward while staying close to its starting behaviour. Costlier and sensitive to hyperparameters.
- Destylacja posterioru świadoma drzewa dla długich agentów (Tree-aware posterior self-distillation for long-horizon agentic RL): Critic-free tree-aware posterior self-distillation for credit assignment in agentic RL.
- GRPO i warianty bez krytyka (GRPO and critic-free policy optimization): A PPO variant without a separate value model: the model samples a group of answers to the same prompt and estimates advantage relative to rewards within that group. This reduces memory requirements and is used in several newer reasoning-training recipes.
- Klasyczny RLHF: SFT → model nagrody → PPO (Classic RLHF pipeline with PPO): The three-stage RLHF recipe popularised by InstructGPT: supervised fine-tuning on demonstrations, training a reward model from human rankings, then policy optimisation with PPO while constraining divergence from a reference model.
- Uczenie agentów na trajektoriach wielosesyjnych (Multi-session agentic reinforcement learning): Critic-free hierarchical advantage optimization for agent trajectories composed of multiple sessions.

Courses

Reinforcement Fine-Tuning LLMs With GRPO

Sources

Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
Berkeley CS185/285 · Deep Reinforcement Learning (2026) · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
LLM Course (Maxime Labonne) · Maxime Labonne