# Częściowa obserwowalność (POMDP) EN: **Partially observable MDPs (POMDP)** · id `pomdp` · aliases: POMDP, partial observability, partially observable Markov decision process, częściowo obserwowalny proces decyzyjny Markowa, belief state, stan przekonań Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Podstawy RL](https://aiatlasgraph.com/t/rlbasics.md) › Częściowa obserwowalność (POMDP) ## Description - PL: Podejmowanie decyzji, gdy obserwacja nie ujawnia pełnego stanu świata, więc agent musi łączyć informacje z historii, np. przez stan przekonań lub pamięć sieci. - EN: Decision-making when observations do not reveal the full state of the world, so the agent must combine information over time, e.g. through a belief state or network memory. ## In one sentence - PL: To podejmowanie decyzji, gdy widzisz tylko część sytuacji i musisz się domyślać reszty. - EN: This is making decisions when you see only part of the situation and have to infer the rest. ## Problem it solves - PL: To, co widzisz w danej chwili, nie wystarcza, by wiedzieć, gdzie naprawdę jesteś i co się stanie. - EN: What you see at a given moment is not enough to know where you really are or what will happen next. ## What it does - PL: Jak w ciemnym pokoju: zapamiętujesz, czego już dotknąłeś, i z tych wskazówek budujesz przypuszczenie, gdzie stoisz. - EN: Like in a dark room: you remember what you have already touched and build a guess of where you stand from those clues. ## Everyday example - PL: Pies szukający piłki za kanapą pamięta, gdzie ją ostatnio widział, chociaż teraz jej nie widzi. - EN: A dog looking for a ball behind the sofa remembers where it last saw it, even though it cannot see it now. ## This concerns you if you… - PL: Twój system ma zaszumione lub niepełne czujniki - PL: program musi pamiętać przeszłość, by dobrze działać - PL: projektujesz zadanie i decydujesz, co ma widzieć agent - EN: your system has noisy or incomplete sensors - EN: your software must remember the past to act well - EN: are designing a task and deciding what the agent should observe ## Keywords belief state · Bayes filter · DRQN · recurrent policies · frame stacking · point-based value iteration · history-dependent policies ## How it works - PL: Agent nie widzi stanu, tylko obserwację zależną od wykonanej akcji i stanu, do którego trafił. Decyzje opiera się na stanie przekonań: rozkładzie prawdopodobieństwa nad stanami, który estymator stanu aktualizuje regułą Bayesa z poprzedniego przekonania, akcji i obserwacji; jest on wystarczającą statystyką historii, więc POMDP można zapisać jako ciągły proces decyzyjny nad przekonaniami. W głębokim RL zamiast jawnego przekonania używa się pamięci, np. warstwy rekurencyjnej zamiast stosu ostatnich klatek. - EN: The agent does not see the state, only an observation that depends on the action taken and the state it landed in. Decisions rest on the belief state: a probability distribution over states that a state estimator updates with Bayes' rule from the previous belief, action and observation; it is a sufficient statistic of the history, so a POMDP can be recast as a continuous decision process over beliefs. Deep RL replaces the explicit belief with memory, e.g. a recurrent layer instead of a stack of recent frames. ## Limits - PL: Dokładne rozwiązywanie POMDP jest obliczeniowo bardzo trudne: autorzy klasycznej pracy z 1998 r. podają, że nawet ich algorytm przestaje być praktyczny już przy kilkunastu stanach i obserwacjach. Wymaga też poprawnego modelu przejść i obserwacji. Pamięć uczona siecią nie gwarantuje zachowania istotnych informacji, a według autorów DRQN rekurencja przy tej samej długości historii nie daje systematycznej przewagi nad stosem klatek. - EN: Exact POMDP solving is computationally very hard: the authors of the classic 1998 paper report that even their algorithm becomes impractical at around fifteen states and observations. It also needs a correct transition and observation model. Network memory does not guarantee that relevant information is kept, and the DRQN authors report that, for the same history length, recurrence gives no systematic advantage over frame stacking. ## Key terms - PL: **stan przekonań**: Rozkład prawdopodobieństwa nad możliwymi ukrytymi stanami. - PL: **obserwacja**: Częściowa, czasem zaszumiona informacja o stanie, którą dostaje agent. - PL: **polityka rekurencyjna**: Polityka z wewnętrzną pamięcią przenoszoną między krokami. - EN: **belief state**: A probability distribution over possible hidden states. - EN: **observation**: Partial, sometimes noisy information about the state that the agent receives. - EN: **recurrent policy**: A policy with internal memory carried across steps. ## Know first - [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md) - [Twierdzenie Bayesa i wnioskowanie bayesowskie (Bayes' theorem and Bayesian inference)](https://aiatlasgraph.com/t/bayesinference.md) ## Examples - PL: stan przekonań · filtr Bayesa · polityki z pamięcią rekurencyjną · stos ostatnich klatek - EN: belief state · Bayes filter · recurrent-memory policies · frame stacking ## Related topics Untyped, symmetric "see also" links. - [Modele probabilistyczne (Probabilistic models)](https://aiatlasgraph.com/t/probabilistic.md) ## Sources - [Deep Recurrent Q-Learning for Partially Observable MDPs]() `drqn-2015` · by Matthew Hausknecht, Peter Stone - [Planning and acting in partially observable stochastic domains]() `kaelbling-pomdp-1998` · by Leslie Pack Kaelbling, Michael L. Littman, Anthony R. Cassandra --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/pomdp · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30