# Double Q-learning: ograniczanie zawyżania wartości

EN: **Double Q-learning and overestimation bias** · id `doubleq` · aliases: Double DQN, DDQN, double Q-learning

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › [Q-learning i głębokie sieci Q (DQN)](https://aiatlasgraph.com/t/qlearning.md) › Double Q-learning: ograniczanie zawyżania wartości

## Description

- PL: Rozdzielenie wyboru akcji i oceny jej wartości w celu Bellmana, zmniejszające systematyczne przeszacowanie wartości Q wynikające z maksymalizacji po zaszumionych estymatach.
- EN: Decoupling action selection from action evaluation in the Bellman target, reducing the systematic Q overestimation caused by maximising over noisy estimates.

## In one sentence

- PL: Poprawka, dzięki której program nie przecenia ruchów tylko dlatego, że miał przy nich szczęście w ocenie.
- EN: A fix that stops a program from overrating moves just because their estimates got lucky.

## Problem it solves

- PL: Program wybierający zawsze najwyżej ocenianą opcję systematycznie bierze przypadkowo zawyżone oceny za prawdziwe i uczy się złych nawyków.
- EN: A program always choosing the top-scored option keeps mistaking lucky overestimates for truth and learns bad habits.

## What it does

- PL: Jak konkurs z dwiema listami ocen: jedna wskazuje finalistę, a druga osobno wycenia jego wynik, więc przypadkowo wysoka nota rzadziej zawyża całość.
- EN: Like a contest with two score sheets: one selects the finalist and the other separately evaluates the result, so a lucky high score is less likely to inflate the total.

## Everyday example

- PL: Agent grający w grę przestaje upierać się przy ruchu, który kilka razy przypadkiem dał dużo punktów.
- EN: A game-playing agent stops insisting on a move that happened to score big a few times.

## This concerns you if you…

- PL: twój agent ma nierealistycznie wysokie oceny ruchów
- PL: trening twojego agenta w grach daje niestabilne wyniki
- EN: your agent has unrealistically high move scores
- EN: training your game-playing agent gives unstable results

## Keywords

Double DQN · target network · maximization bias · clipped double Q-learning · TD3 · Atari 2600

## How it works

- PL: Klasyczny Q-learning wybiera i ocenia akcję tym samym estymatorem, więc szum w ocenach przekłada się na dodatni błąd. W Double DQN akcję w następnym stanie wybiera sieć online, a jej wartość odczytuje sieć docelowa. Pokrewna technika ograniczania przeszacowania przez dwa krytyki występuje w TD3.
- EN: Classic Q-learning selects and evaluates an action with the same estimator, so noise turns into positive bias. In Double DQN the online network chooses the next-state action and the target network evaluates it. A related two-critic technique for limiting overestimation appears in TD3.

## Limits

- PL: Nie usuwa przeszacowania całkowicie, a w niektórych środowiskach może prowadzić do niedoszacowania. Nie rozwiązuje innych źródeł niestabilności, takich jak przesunięcie rozkładu danych.
- EN: It does not remove overestimation entirely and can cause underestimation in some environments. It does not fix other sources of instability such as data distribution shift.

## Key terms

- PL: **przeszacowanie (overestimation)**: Systematyczne zawyżanie wartości przez branie maksimum z zaszumionych ocen.
- PL: **sieć docelowa**: Wolniej aktualizowana kopia sieci służąca do liczenia celów.
- PL: **cel Bellmana**: Nagroda plus zdyskontowana wartość następnego stanu.
- EN: **overestimation**: Systematic value inflation from taking the max over noisy estimates.
- EN: **target network**: A slowly updated network copy used to compute targets.
- EN: **Bellman target**: Reward plus the discounted value of the next state.

## Know first

- [Funkcje wartości i równanie Bellmana (Value functions and the Bellman equation)](https://aiatlasgraph.com/t/bellman.md)
- [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md)

## Related topics

Untyped, symmetric "see also" links.

- [Deterministyczne gradienty polityki (Deterministic policy-gradient methods)](https://aiatlasgraph.com/t/ddpgtd3.md)

## Sources

- [Deep Reinforcement Learning with Double Q-learning](<https://arxiv.org/abs/1509.06461>) `double-dqn-2015` · by Hado van Hasselt; Arthur Guez; David Silver

---

AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/doubleq · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04