Trenowanie modeli rozumujących

Training reasoning models · id reasoningtraining

Jak nauczyć model długiego, samokorygującego się rozumowania: RL z nagrodą za poprawny wynik, SFT na długich łańcuchach myśli i destylacja z większego modelu.

How to teach a model long, self-correcting reasoning: RL rewarded for correct results, SFT on long chains of thought, and distillation from a larger model.

In one sentence

To uczenie modelu rozwiązywania złożonych zadań przez przykłady i ocenę jego prób.

This trains a model to solve complex tasks through examples and evaluation of its attempts.

Problem it solves

Model potrafi pisać przekonująco, ale nie radzi sobie z zadaniami wymagającymi sprawdzania kolejnych kroków.

A model writes convincingly but struggles with tasks requiring successive steps to be checked.

What it does

Trening wykorzystuje rozwiązane zadania, nagrody za sprawdzalne wyniki lub przykłady przygotowane przez silniejszy model, żeby zmienić zachowanie sieci.

Training uses worked tasks, rewards for checkable outcomes or examples from a stronger model to change the network's behaviour.

Everyday example

Dostrajasz model na zadaniach z poprawnymi obliczeniami i sprawdzasz, czy lepiej rozwiązuje nowe przypadki.

You adapt a model using tasks with correct calculations and check whether it handles new cases better.

This concerns you if you…

• potrzebujesz trwale poprawić rozwiązywanie zadań
• masz przykłady lub sposób oceny wyników
• need lasting improvements in task solving
• have examples or a way to evaluate outcomes

Examples

• przepis DeepSeek-R1 · SFT → RL · destylacja
• DeepSeek-R1 recipe · SFT → RL · distillation

Subtopics

• Destylacja rozumowania do mniejszych modeli (Reasoning distillation): A large reasoning model generates reasoning traces that a smaller model is fine-tuned on. A cheap way to give a small model reasoning ability.
• RL z weryfikowalnymi nagrodami (RLVR) (Reinforcement learning with verifiable rewards): The model receives reward from an automatically verifiable signal — such as answer correctness, passing code tests, or satisfying a checkable condition — rather than relying only on a learned preference model. RLVR is an important post-training approach for reasoning models, especially in domains with unambiguous verification.
  • Rekurencyjne samoulepszanie agentów terminalowych (Recursive self-improvement of terminal agents): A post-training method alternating supervised learning on verified successful trajectories with PPO using an inherited value model.
• SFT na długich łańcuchach myśli (Long chain-of-thought fine-tuning): Supervised fine-tuning on curated examples with long reasoning traces; often a “cold start” before RL, or a cheap route to a reasoning model from few examples.

Sources

• Understanding Reasoning LLMs · Sebastian Raschka
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · DeepSeek-AI