# Dyna i przeszukiwanie priorytetowe EN: **Dyna-style planning and prioritized sweeping** · id `dyna` · aliases: Dyna, Dyna-Q, prioritized sweeping, przeszukiwanie priorytetowe Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Modele świata i planowanie](https://aiatlasgraph.com/t/modelbased.md) › Dyna i przeszukiwanie priorytetowe ## Description - PL: Architektura łącząca uczenie bezpośrednie z prawdziwych przejść z planowaniem na przejściach symulowanych przez wyuczony model, z tymi samymi aktualizacjami wartości dla obu. - EN: An architecture combining direct learning from real transitions with planning on transitions simulated by a learned model, using the same value updates for both. ## In one sentence - PL: Program po każdym prawdziwym kroku dodatkowo „przećwicza w głowie” kilka wyobrażonych kroków, korzystając z zapamiętanego obrazu świata. - EN: After each real step, the program also rehearses a few imagined steps in its head, using its learned picture of the world. ## Problem it solves - PL: Zbieranie prawdziwych doświadczeń jest wolne lub drogie, więc każde z nich warto wykorzystać jak najpełniej. - EN: Gathering real experience is slow or costly, so each one should be used as fully as possible. ## What it does - PL: Jak szachista, który po każdej partii rozgrywa w myślach warianty, zamiast czekać na kolejną prawdziwą grę. - EN: Like a chess player who replays variations mentally after each game, instead of waiting for the next real one. ## Everyday example - PL: Robot magazynowy po kilku przejazdach odtwarza w pamięci trasę i szybciej uczy się omijać zatory. - EN: A warehouse robot, after a few trips, replays the route in memory and learns faster to avoid jams. ## This concerns you if you… - PL: prawdziwe próby są dla ciebie drogie lub wolne - PL: chcesz zrozumieć, jak łączyć planowanie z uczeniem - EN: real trials are expensive or slow for you - EN: want to understand how to combine planning with learning ## Keywords Dyna-Q · Dyna-Q+ · prioritized sweeping · MBPO · model rollouts · sample efficiency ## How it works - PL: Po każdym prawdziwym kroku Dyna-Q aktualizuje Q i model przejść, a następnie wykonuje n aktualizacji planistycznych na losowo wybranych, wcześniej widzianych parach stan–akcja z odpowiedziami modelu. Przeszukiwanie priorytetowe zamiast losowania aktualizuje najpierw pary, których wartość zmieniłaby się najbardziej, cofając się od zmienionych stanów. - EN: After each real step Dyna-Q updates Q and the transition model, then performs n planning updates on randomly chosen, previously seen state–action pairs using the model's answers. Prioritised sweeping replaces random choice by first updating pairs whose values would change most, working backward from changed states. ## Limits - PL: Błędny model, np. po zmianie środowiska, może długo utrwalać złe oceny, a lepsza droga może pozostać niezauważona bez dodatkowej premii eksploracyjnej. W złożonych środowiskach kłopot sprawia nauczenie dokładnego modelu. - EN: A wrong model, e.g. after the environment changes, can reinforce bad values for long, and a better path may go unnoticed without an extra exploration bonus. In complex environments learning an accurate model is hard. ## Key terms - PL: **model próbkowy**: Model zwracający jedno przykładowe następstwo działania, a nie wszystkie. - PL: **planowanie**: Ulepszanie polityki z doświadczeń symulowanych przez model. - PL: **RL pośrednie**: Uczenie przez model zamiast wyłącznie z prawdziwych prób. - EN: **sample model**: A model returning one example outcome of an action, not all. - EN: **planning**: Improving a policy from experience simulated by a model. - EN: **indirect RL**: Learning through a model rather than only from real trials. ## Know first - [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md) - [Programowanie dynamiczne: iteracja wartości i polityki (Dynamic programming for MDPs (value and policy iteration))](https://aiatlasgraph.com/t/dynamicprogramming.md) ## Related topics Untyped, symmetric "see also" links. - [Uczenie w wyobraźni modelu świata (Dreamer) (Learning in imagination with latent world models)](https://aiatlasgraph.com/t/latentworldmodels.md) ## Sources - [Reinforcement Learning: An Introduction (2nd edition)]() `sutton-barto-rl-2018` · by Richard S. Sutton, Andrew G. Barto - [Planning and Learning with Tabular Methods (slides for ch. 8 of 'Reinforcement Learning: An Introduction')]() `sutton-planning-learning-slides` · by Richard S. Sutton; Andrew G. Barto (slajdy udostępnione w kursie Stanford CME 241) --- AI Atlas revision 128 (2026-11-04) · HTML: https://aiatlasgraph.com/t/dyna · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-04