# RL z weryfikowalnymi nagrodami (RLVR)

EN: **Reinforcement learning with verifiable rewards** · id `rlvr`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rozumowanie w modelach językowych](https://aiatlasgraph.com/t/reasoningmodels.md) › [Trenowanie modeli rozumujących](https://aiatlasgraph.com/t/reasoningtraining.md) › RL z weryfikowalnymi nagrodami (RLVR)

## Description

- PL: Model dostaje nagrodę na podstawie automatycznie weryfikowalnego sygnału — np. poprawności wyniku, przejścia testów kodu lub spełnienia sprawdzalnego warunku — zamiast polegać wyłącznie na wyuczonym modelu preferencji. RLVR jest ważnym podejściem do post-treningu modeli rozumujących, szczególnie w domenach z jednoznaczną weryfikacją.
- EN: The model receives reward from an automatically verifiable signal — such as answer correctness, passing code tests, or satisfying a checkable condition — rather than relying only on a learned preference model. RLVR is an important post-training approach for reasoning models, especially in domains with unambiguous verification.

## In one sentence

- PL: To uczenie modelu przez nagradzanie odpowiedzi, których poprawność da się automatycznie sprawdzić.
- EN: This trains a model by rewarding answers whose correctness can be checked automatically.

## Problem it solves

- PL: Przekonujący styl nie mówi, czy obliczenie lub program faktycznie działa poprawnie.
- EN: A convincing style does not tell you whether a calculation or program actually works correctly.

## What it does

- PL: Model próbuje rozwiązań, a test lub jednoznaczny warunek wyznacza nagrodę, która wpływa na kolejne aktualizacje jego ustawień.
- EN: A model attempts solutions, while a test or definite condition determines the reward that influences subsequent parameter updates.

## Everyday example

- PL: Podczas treningu model pisze mały program, a nagrodę otrzymuje za przejście przygotowanych testów działania.
- EN: During training, a model writes a small program and receives a reward for passing prepared functional tests.

## This concerns you if you…

- PL: potrafisz automatycznie sprawdzić wynik zadania
- PL: chcesz nagradzać poprawność zamiast samego stylu
- EN: can automatically check a task's result
- EN: want to reward correctness beyond writing style

## Keywords

GRPO · rule-based rewards · mathematical verification · code execution rewards · format rewards · reward hacking

## How it works

- PL: Model próbuje rozwiązań, które wykonują testy, porównania wzorców lub inne automatyczne sprawdzenia. Wynik zamienia się na nagrodę aktualizującą politykę generowania, zwiększając prawdopodobieństwo ścieżek przechodzących dany weryfikator.
- EN: A model attempts solutions evaluated through tests, reference comparisons or other automated checks. Results become rewards updating the generation policy, increasing the probability of paths passing that verifier.

## Limits

- PL: Nagroda obejmuje tylko sprawdzalne właściwości i może mieć luki. Rzadkie sukcesy utrudniają uczenie; optymalizacja testu nie dowodzi poprawności poza jego zakresem ani wierności śladu.
- EN: Rewards cover only checkable properties and can have loopholes. Rare successes impede learning; optimising tests proves neither correctness beyond their scope nor trace faithfulness.

## Key terms

- PL: **nagroda weryfikowalna**: Sygnał obliczany przez sprawdzalny warunek zamiast samej opinii modelu.
- PL: **reward hacking**: Uzyskiwanie wysokiej nagrody przez wykorzystanie luk celu zamiast realizacji zadania.
- EN: **verifiable reward**: A signal calculated from a checkable condition rather than model opinion alone.
- EN: **reward hacking**: Obtaining high rewards through objective loopholes instead of fulfilling the task.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Ewaluatory kodowe (Code-based evaluators)](https://aiatlasgraph.com/t/codeevals.md)

## Examples

- PL: nagroda za poprawność i format · GRPO · zadania matematyczne i kodowe
- EN: accuracy and format rewards · GRPO · maths and coding tasks

## Subtopics (1 direct, 1 in total)

- [Rekurencyjne samoulepszanie agentów terminalowych (Recursive self-improvement of terminal agents)](https://aiatlasgraph.com/t/terminalrsi.md): A post-training method alternating supervised learning on verified successful trajectories with PPO using an inherited value model.

## Related topics

Untyped, symmetric "see also" links.

- [Automatyczne dowodzenie twierdzeń (Lean) (Automated and formal theorem proving (Lean))](https://aiatlasgraph.com/t/theoremproving.md)
- [GRPO i warianty bez krytyka (GRPO and critic-free policy optimization)](https://aiatlasgraph.com/t/grpo.md)
- [RL z nagrodą (Reinforcement learning with rewards)](https://aiatlasgraph.com/t/rlpolicy.md)
- [Sprawdzanie końcowego wyniku (Outcome verification)](https://aiatlasgraph.com/t/outcomeverify.md)
- [Weryfikacja i filtrowanie danych syntetycznych (Verifying and filtering synthetic data)](https://aiatlasgraph.com/t/syntheticfiltering.md)

## Sources

- [DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning](<https://arxiv.org/abs/2501.12948>) `deepseek-r1-2025` · by DeepSeek-AI
- [Tulu 3: Pushing Frontiers in Open Language Model Post-Training](<https://arxiv.org/abs/2411.15124>) `tulu3-2024` · by Nathan Lambert, Jacob Morrison, Valentina Pyatkin i in. (Allen Institute for AI)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/rlvr · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30