# „Śmiertelna triada” w RL

EN: **The deadly triad in reinforcement learning** · id `deadlytriad` · aliases: deadly triad, śmiertelna triada, zabójcza triada

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Podstawy RL](https://aiatlasgraph.com/t/rlbasics.md) › „Śmiertelna triada” w RL

## Description

- PL: Uogólnianie funkcji wartości przez aproksymatory oraz niestabilność wynikająca z połączenia aproksymacji, bootstrappingu i uczenia off-policy.
- EN: Generalising value functions with approximators, and the instability arising from combining approximation, bootstrapping and off-policy learning.

## In one sentence

- PL: Gdy oceny sytuacji liczy aproksymator, pewne połączenie sposobów uczenia może sprawić, że oceny wymkną się spod kontroli.
- EN: When an approximator computes situation scores, a certain mix of learning mechanisms can make those scores spiral out of control.

## Problem it solves

- PL: Agent uczący się skrótami bywa nieprzewidywalny: trening nagle się sypie, a powodu nie widać na pierwszy rzut oka.
- EN: An agent learning through shortcuts can be unpredictable: training suddenly collapses and the cause isn't obvious.

## What it does

- PL: Wskazuje trzy składniki, które osobno pomagają, a razem mogą się wzajemnie napędzać jak sprzężenie mikrofonu z głośnikiem.
- EN: It names three ingredients that help on their own but together can feed each other like microphone feedback.

## Everyday example

- PL: Podczas trenowania agenta do gier oceny ruchów nagle rosną do absurdalnych wartości, a wyniki gry spadają do zera.
- EN: While training a game agent, move scores suddenly climb to absurd values and game results drop to zero.

## This concerns you if you…

- PL: trening twojego agenta niespodziewanie się rozpada
- PL: chcesz zrozumieć, po co są sieci docelowe i bufory
- EN: your agent's training unexpectedly falls apart
- EN: you want to see why target networks and buffers exist

## Keywords

deadly triad · bootstrapping · off-policy learning · target networks · linear function approximation · Baird's counterexample · gradient TD · emphatic TD

## How it works

- PL: Aproksymacja sprawia, że aktualizacja jednego stanu zmienia oceny innych. Bootstrapping używa własnych, błędnych ocen jako celów, a dane off-policy nie odpowiadają rozkładowi odwiedzin ocenianej polityki. Razem mogą prowadzić do rozbieżności; łagodzą to sieci docelowe, podwójne Q i dłuższe zwroty wielokrokowe.
- EN: Approximation means updating one state changes others' values. Bootstrapping uses the agent's own, possibly wrong estimates as targets, and off-policy data does not match the evaluated policy's visitation. Together they can diverge; target networks, double Q and longer multi-step returns mitigate this.

## Limits

- PL: Triada opisuje ryzyko, a nie pewną awarię: w praktyce głębokie sieci często działają mimo niej, a rozbieżność bywa łagodna. Brakuje ogólnych gwarancji zbieżności dla nieliniowych aproksymatorów.
- EN: The triad describes a risk, not a certain failure: deep networks often work despite it and divergence is often mild. General convergence guarantees for nonlinear approximators are lacking.

## Key terms

- PL: **bootstrapping**: Uczenie oceny na podstawie innej, też niepewnej oceny.
- PL: **off-policy**: Uczenie z danych zebranych przez inne zachowanie niż oceniane.
- PL: **divergence**: Oceny rosną bez ograniczenia zamiast się stabilizować.
- EN: **bootstrapping**: Learning an estimate from another, also uncertain estimate.
- EN: **off-policy**: Learning from data gathered by behaviour other than the one evaluated.
- EN: **divergence**: Estimates grow without bound instead of settling.

## Know first

- [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md)
- [Podstawy sieci neuronowych (Neural network fundamentals)](https://aiatlasgraph.com/t/neuralbasics.md)

## Related topics

Untyped, symmetric "see also" links.

- [Konserwatywne offline RL (CQL, IQL) (Conservative offline RL)](https://aiatlasgraph.com/t/conservativeoffline.md)

## Sources

- [Deep Reinforcement Learning and the Deadly Triad](<https://arxiv.org/abs/1812.02648>) `deadly-triad-2018` · by Hengshuai Yao
- [Reinforcement Learning: An Introduction (2nd edition)](<http://incompleteideas.net/book/the-book-2nd.html>) `sutton-barto-rl-2018` · by Richard S. Sutton, Andrew G. Barto

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/deadlytriad · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30