# Rainbow: połączenie ulepszeń DQN

EN: **Rainbow DQN** · id `rainbowdqn` · aliases: Rainbow, Rainbow DQN

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › [Q-learning i głębokie sieci Q (DQN)](https://aiatlasgraph.com/t/qlearning.md) › Rainbow: połączenie ulepszeń DQN

## Description

- PL: Agent łączący sześć rozszerzeń DQN: Double Q-learning, priorytetowe odtwarzanie, sieć dueling, cele wielokrokowe, RL rozkładowe i NoisyNet, z ablacją wkładu każdego z nich.
- EN: An agent combining six DQN extensions: Double Q-learning, prioritised replay, dueling networks, multi-step targets, distributional RL and NoisyNet, with an ablation of each one's contribution.

## In one sentence

- PL: Przepis łączący kilka niezależnie wynalezionych poprawek jednego algorytmu uczenia w jednego, mocniejszego agenta.
- EN: A recipe combining several independently invented fixes to one learning algorithm into a single, stronger agent.

## Problem it solves

- PL: Badacze proponowali wiele osobnych usprawnień, ale nie było wiadomo, czy razem działają lepiej, czy sobie przeszkadzają.
- EN: Researchers proposed many separate improvements, but it was unclear whether they help or hinder each other together.

## What it does

- PL: Jak kuchnia łącząca sprawdzone patenty kilku kucharzy w jedno danie i sprawdzająca, który składnik daje najwięcej smaku.
- EN: Like a kitchen combining several cooks' proven tricks into one dish and testing which ingredient adds most flavour.

## Everyday example

- PL: Student uczący się sztucznej inteligencji bierze gotowy zestaw ulepszeń jako punkt odniesienia, zanim zacznie porównywać własne pomysły.
- EN: An AI student uses a ready-made bundle of improvements as a baseline before comparing their own ideas.

## This concerns you if you…

- PL: potrzebujesz mocnego punktu odniesienia dla agenta z dyskretnymi akcjami
- PL: chcesz wiedzieć, które poprawki agenta grającego w gry najbardziej pomagają
- EN: need a strong baseline for a discrete-action agent
- EN: want to know which game-agent improvements help most

## Keywords

prioritized experience replay · n-step returns · C51 · Double DQN · Dueling DQN · NoisyNet · Dopamine

## How it works

- PL: Rainbow uczy rozkładu zwrotów zamiast jednej wartości, liczy cele z n-krokowych zwrotów, próbkuje przejścia z priorytetem według błędu, wybiera akcje w stylu Double DQN, używa architektury dueling i eksploruje przez szum w wagach. Ablacje pokazują, które składniki najbardziej wpływają na wynik.
- EN: Rainbow learns a return distribution instead of a single value, computes targets from n-step returns, samples transitions prioritised by error, selects actions Double-DQN style, uses a dueling architecture and explores via weight noise. Ablations show which components matter most.

## Limits

- PL: Wiele składników oznacza wiele hiperparametrów i większą złożoność implementacji. Dotyczy akcji dyskretnych; w sterowaniu ciągłym dominują metody aktor–krytyk.
- EN: Many components mean many hyperparameters and more implementation complexity. It targets discrete actions; continuous control is dominated by actor–critic methods.

## Key terms

- PL: **ablacja**: Usuwanie po jednym składniku, by zmierzyć jego wkład w wynik.
- PL: **cel n-krokowy**: Cel uczenia z sumy kilku kolejnych nagród, a nie jednej.
- EN: **ablation**: Removing one component at a time to measure its contribution.
- EN: **n-step target**: A learning target from the sum of several rewards, not one.

## Know first

- [Rozkładowe uczenie ze wzmocnieniem (Distributional reinforcement learning)](https://aiatlasgraph.com/t/distributionalrl.md)
- [Bufor doświadczeń i priorytetowe odtwarzanie (Experience replay and prioritised replay)](https://aiatlasgraph.com/t/experiencereplay.md)

## Related topics

Untyped, symmetric "see also" links.

- [Eksploracja przez szum w parametrach sieci (NoisyNet) (Parameter-space noise for exploration (NoisyNet))](https://aiatlasgraph.com/t/noisynets.md)

## Sources

- [Rainbow: Combining Improvements in Deep Reinforcement Learning](<https://arxiv.org/abs/1710.02298>) `rainbow-2017` · by Matteo Hessel; Joseph Modayil; Hado van Hasselt; Tom Schaul; Georg Ostrovski; Will Dabney; Dan Horgan; Bilal Piot; Mohammad Azar; David Silver

---

AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/rainbowdqn · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04