# Planowanie z przeszukiwaniem drzewa (AlphaZero, MuZero)

EN: **Tree-search planning with learned models** · id `mctsplanning`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Modele świata i planowanie](https://aiatlasgraph.com/t/modelbased.md) › Planowanie z przeszukiwaniem drzewa (AlphaZero, MuZero)

## Description

- PL: Łączenie przeszukiwania drzewa Monte Carlo z sieciami przewidującymi wartość i politykę, a w MuZero także z wyuczonym modelem reguł. Klucz do sukcesów w grach planszowych.
- EN: Combining Monte Carlo tree search with networks that predict value and policy, and in MuZero also a learned model of the rules. Key to the successes in board games.

## In one sentence

- PL: To wybieranie ruchu przez próbowanie możliwych dalszych przebiegów z pomocą wyuczonych ocen.
- EN: This chooses a move by exploring possible future sequences with help from learned assessments.

## Problem it solves

- PL: Sama szybka ocena ruchu może przeoczyć ważny skutek, a pełne sprawdzenie wszystkich dalszych przebiegów jest zbyt kosztowne.
- EN: A quick move assessment may miss an important consequence, while exploring every future sequence is too costly.

## What it does

- PL: Rozwija wybrane gałęzie możliwych działań, wykorzystując wyuczone wskazówki i oceny, a czasem także model przewidujący następną sytuację.
- EN: It explores selected action branches using learned guidance and values, sometimes also a model predicting the next situation.

## Everyday example

- PL: Program grający w grę planszową przed ruchem sprawdza obiecujące odpowiedzi obu stron, łącząc próby dalszej gry z wyuczonym ocenianiem pozycji.
- EN: Before moving, board game software explores promising responses from both sides, combining future play trials with learned position assessments.

## This concerns you if you…

- PL: chcesz połączyć wyuczone wskazówki ze sprawdzaniem wariantów
- PL: możesz poświęcić obliczenia na plan przed ruchem
- EN: want learned guidance combined with exploring alternatives
- EN: can spend computation on planning before an action

## Keywords

MCTS · AlphaZero · MuZero · PUCT · self-play · value backups

## How it works

- PL: Przeszukiwanie drzewa wybiera gałęzie, rozwija nowe stany i propaguje ich ocenę do wcześniejszych decyzji. Sieć podpowiada priorytety akcji oraz wartości liści, a wyuczony model może zastępować część symulacji przejść.
- EN: Tree search selects branches, expands new states and backs their evaluations up to earlier decisions. A network supplies action priors and leaf values, while a learned model may replace some transition simulation.

## Limits

- PL: Więcej przeszukiwania zwiększa koszt każdej decyzji. Błędy wartości lub dynamiki mogą ukierunkować całe drzewo niewłaściwie; rozgałęzienia ciągłych akcji wymagają dodatkowych przybliżeń.
- EN: More search increases each decision's cost. Value or dynamics errors can misdirect the entire tree; branching over continuous actions requires additional approximations.

## Key terms

- PL: **Monte Carlo tree search**: Przeszukiwanie drzewa kierowane ocenami uzyskiwanymi z próbnych rozwinięć.
- PL: **backup wartości**: Przekazywanie ocen potomnych stanów do wcześniejszych węzłów drzewa.
- EN: **Monte Carlo tree search**: Tree search guided by evaluations obtained from trial expansions.
- EN: **value backup**: Propagating descendant-state evaluations to earlier tree nodes.

## Know first

- [Przeszukiwanie i planowanie (Search and planning)](https://aiatlasgraph.com/t/search.md)
- [Funkcje wartości i równanie Bellmana (Value functions and the Bellman equation)](https://aiatlasgraph.com/t/bellman.md)

## Examples

- PL: MCTS · AlphaZero · MuZero · iteracja eksperta (self-play)
- EN: MCTS · AlphaZero · MuZero · expert iteration (self-play)

## Related topics

Untyped, symmetric "see also" links.

- [Gry i przeszukiwanie z przeciwnikiem (minimax) (Adversarial search and games (minimax, alpha-beta))](https://aiatlasgraph.com/t/adversarialsearch.md)
- [Obliczenia w czasie wnioskowania (Test-time compute scaling)](https://aiatlasgraph.com/t/testtime.md)
- [Planowanie syntezy wstecznej (retrosynteza) (Retrosynthesis planning)](https://aiatlasgraph.com/t/retrosynthesis.md)
- [Przeszukiwanie i planowanie (Search and planning)](https://aiatlasgraph.com/t/search.md)
- [Uczenie przez grę z samym sobą (self-play) (Self-play and league training)](https://aiatlasgraph.com/t/selfplay.md)

## Sources

- [OpenAI Spinning Up — Part 2: Kinds of RL Algorithms](<https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html>) `spinningup-rl-taxonomy` · by Joshua Achiam / OpenAI
- [Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero)](<https://arxiv.org/abs/1911.08265>) `muzero-2019` · by J. Schrittwieser, I. Antonoglou, T. Hubert, K. Simonyan, L. Sifre, S. Schmitt, A. Guez, E. Lockhart, D. Hassabis, T. Graepel, T. Lillicrap, D. Silver

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mctsplanning · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30