# Rozkładowe uczenie ze wzmocnieniem

EN: **Distributional reinforcement learning** · id `distributionalrl` · aliases: distributional RL, value distribution

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Rozkładowe uczenie ze wzmocnieniem

## Description

- PL: Rodzina metod uczących rozkładu zwrotu (value distribution) zamiast jego wartości oczekiwanej, przez rozkładową wersję równania Bellmana.
- EN: A family of methods learning the distribution of returns (value distribution) instead of its expectation, via a distributional Bellman equation.

## In one sentence

- PL: Zamiast jednej średniej oceny agent uczy się całego zakresu możliwych wyników swojego działania, od najgorszych po najlepsze.
- EN: Instead of one average score, the agent learns the whole range of possible outcomes of its actions, worst to best.

## Problem it solves

- PL: Średnia ukrywa ryzyko: dwa ruchy z tym samym przeciętnym wynikiem mogą się bardzo różnić szansą na porażkę.
- EN: An average hides risk: two moves with the same typical result can differ greatly in their chance of disaster.

## What it does

- PL: Jak prognoza pogody podająca szanse deszczu i burzy, a nie tylko średnią temperaturę na jutro.
- EN: Like a forecast giving chances of rain and storms, not just tomorrow's average temperature.

## Everyday example

- PL: Agent prowadzący samochód w symulacji unika manewru, który zwykle się opłaca, ale czasem kończy się stłuczką.
- EN: An agent driving in simulation avoids a manoeuvre that usually pays off but sometimes ends in a crash.

## This concerns you if you…

- PL: rzadkie, ale bardzo złe wyniki są dla ciebie ważne
- PL: chcesz zrozumieć, skąd biorą się mocne agenty do gier
- EN: rare but very bad outcomes matter to you
- EN: you want to know where strong game-playing agents come from

## Keywords

C51 · QR-DQN · IQN · distributional Bellman operator · quantile regression · CVaR · risk-sensitive RL · Rainbow

## How it works

- PL: Rozkładowy operator Bellmana przesuwa i skaluje rozkład zwrotu następnego stanu o nagrodę i dyskonto. C51 reprezentuje go jako rozkład kategoryczny na stałej siatce atomów z krokiem projekcji, QR-DQN i IQN przez kwantyle. Akcje wybiera się zwykle po średniej albo po mierze ryzyka.
- EN: The distributional Bellman operator shifts and scales the next state's return distribution by reward and discount. C51 represents it as a categorical distribution on a fixed atom grid with a projection step; QR-DQN and IQN use quantiles. Actions are usually chosen by the mean or by a risk measure.

## Limits

- PL: Zysk wydajności nie jest w pełni wyjaśniony teoretycznie i zależy od zadania. Reprezentacja kategoryczna wymaga ustalenia zakresu zwrotów, a sterowanie po mierze ryzyka komplikuje gwarancje zbieżności.
- EN: The performance gain is not fully explained theoretically and depends on the task. Categorical representations need a preset return range, and risk-sensitive control complicates convergence guarantees.

## Key terms

- PL: **value distribution**: Rozkład wszystkich możliwych sum nagród, a nie tylko ich średnia.
- PL: **atoms**: Stałe punkty, między które rozkłada się prawdopodobieństwo wyników.
- PL: **CVaR**: Średni wynik w najgorszych przypadkach; miara ryzyka.
- EN: **value distribution**: The distribution of all possible reward sums, not just their mean.
- EN: **atoms**: Fixed points across which outcome probability is spread.
- EN: **CVaR**: The average outcome in the worst cases; a risk measure.

## Know first

- [Funkcje wartości i równanie Bellmana (Value functions and the Bellman equation)](https://aiatlasgraph.com/t/bellman.md)
- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)

## Related topics

Untyped, symmetric "see also" links.

- [Bezpieczne RL i RL z ograniczeniami (Safe and constrained reinforcement learning)](https://aiatlasgraph.com/t/saferl.md)

## Sources

- [A Distributional Perspective on Reinforcement Learning](<https://arxiv.org/abs/1707.06887>) `c51-distributional-2017` · by Marc G. Bellemare; Will Dabney; Rémi Munos
- [Rainbow: Combining Improvements in Deep Reinforcement Learning](<https://arxiv.org/abs/1710.02298>) `rainbow-2017` · by Matteo Hessel; Joseph Modayil; Hado van Hasselt; Tom Schaul; Georg Ostrovski; Will Dabney; Dan Horgan; Bilal Piot; Mohammad Azar; David Silver

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/distributionalrl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30