RL z nagrodą

Reinforcement learning with rewards · id rlpolicy

Iteracyjne poprawianie polityki modelu pod nagrodę bez oddalania się od zachowania wyjściowego. Droższe i wrażliwe na hiperparametry.

Iteratively improving the model's policy against a reward while staying close to its starting behaviour. Costlier and sensitive to hyperparameters.

In one sentence

To poprawianie sposobu odpowiadania modelu przez nagrody za generowane próby.

This improves a model's response behaviour through rewards for generated attempts.

Problem it solves

Same wzorcowe odpowiedzi nie pokazują, jak model ma zmienić swoje własne próby na bardziej użyteczne.

Reference answers alone do not show how a model should turn its own attempts into more useful ones.

What it does

Model generuje odpowiedzi, otrzymuje ocenę i aktualizuje ustawienia, często z kontrolą odchylenia od zachowania wyjściowego.

A model generates responses, receives scores and updates parameters, often with limits on deviation from its starting behaviour.

Everyday example

W treningu model proponuje rozwiązania zadania, a nagroda za poprawny wynik wpływa na jego kolejne próby.

During training, a model proposes task solutions, and rewards for correct results influence subsequent attempts.

This concerns you if you…

• potrafisz nadawać nagrody za próby modelu
• chcesz zmieniać zachowanie na podstawie wyników
• can assign rewards to model attempts
• want behaviour to change based on results

Examples

• PPO · GRPO · model nagrody lub funkcja nagrody · modele rozumujące
• PPO · GRPO · reward model or reward function · reasoning models

Subtopics

• Destylacja posterioru świadoma drzewa dla długich agentów (Tree-aware posterior self-distillation for long-horizon agentic RL): Critic-free tree-aware posterior self-distillation for credit assignment in agentic RL.
• GRPO i warianty bez krytyka (GRPO and critic-free policy optimization): A PPO variant without a separate value model: the model samples a group of answers to the same prompt and estimates advantage relative to rewards within that group. This reduces memory requirements and is used in several newer reasoning-training recipes.
• Klasyczny RLHF: SFT → model nagrody → PPO (Classic RLHF pipeline with PPO): The three-stage RLHF recipe popularised by InstructGPT: supervised fine-tuning on demonstrations, training a reward model from human rankings, then policy optimisation with PPO while constraining divergence from a reference model.
• Uczenie agentów na trajektoriach wielosesyjnych (Multi-session agentic reinforcement learning): Critic-free hierarchical advantage optimization for agent trajectories composed of multiple sessions.

Related topics

• Obchodzenie celu: reward hacking i służalczość (Reward hacking, specification gaming and sycophancy)
• Proximal Policy Optimization (PPO) (Proximal policy optimization (PPO))
• RL z weryfikowalnymi nagrodami (RLVR) (Reinforcement learning with verifiable rewards)

Sources

• LLM Course (Maxime Labonne) · Maxime Labonne