# Proces decyzyjny Markowa (MDP)

EN: **Markov decision processes (MDP)** · id `mdp`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Podstawy RL](https://aiatlasgraph.com/t/rlbasics.md) › Proces decyzyjny Markowa (MDP)

## Description

- PL: Formalny zapis problemu decyzyjnego w RL: stany, akcje, prawdopodobieństwa przejść, nagrody i współczynnik dyskonta. Jeden z podstawowych punktów wyjścia do opisu algorytmów RL.
- EN: A formal model of sequential decision-making in RL: states, actions, transition probabilities, rewards and a discount factor. One of the standard starting points for describing RL algorithms.

## In one sentence

- PL: To matematyczny opis kolejnych decyzji za pomocą sytuacji, działań, szans ich skutków i ocen wyniku.
- EN: This mathematically describes sequential decisions through situations, actions, probabilities of their effects and outcome scores.

## Problem it solves

- PL: Bez wspólnego opisu trudno porównywać strategie i określić, czego program ma się nauczyć z kolejnych prób.
- EN: Without a shared description, strategies are hard to compare and the intended learning from successive trials is unclear.

## What it does

- PL: Zakłada, że opis obecnej sytuacji wystarcza do przewidywania następnego kroku; zapisuje możliwe przejścia, ich szanse i oceny.
- EN: It assumes the current situation contains what is needed to predict the next step and records possible transitions, their probabilities and scores.

## Everyday example

- PL: W prostym zadaniu nawigacji zapisujesz pozycję i energię robota, dostępne ruchy, możliwe nowe sytuacje oraz ocenę dotarcia do celu.
- EN: In a simple navigation task, you record robot position and energy, available moves, possible next situations and a score for reaching the goal.

## This concerns you if you…

- PL: chcesz formalnie opisać zadanie z kolejnymi decyzjami
- PL: musisz określić skutki działań i sposób oceniania
- EN: want a formal description of a sequential decision task
- EN: need to define action consequences and scoring

## Keywords

Markov property · transition kernel · reward function · discount factor · POMDP · occupancy measure

## How it works

- PL: Rozkład przejść i nagroda zależą od bieżącego stanu oraz działania. Polityka indukuje sekwencję stanów, której oczekiwany zwrot wyznacza cel oceny i optymalizacji.
- EN: Transition distributions and rewards depend on the current state and action. A policy induces a state sequence whose expected return defines the evaluation and optimisation objective.

## Limits

- PL: Założenie Markowa wymaga wystarczającego opisu stanu. Przy ukrytej informacji trzeba uwzględnić historię lub przekonanie o stanie; nieznane przejścia wymagają estymacji.
- EN: The Markov assumption requires a sufficiently informative state. Hidden information calls for history or state beliefs; unknown transitions require estimation.

## Key terms

- PL: **własność Markowa**: Przyszłość zależy od bieżącego stanu, bez dodatkowej informacji z przeszłości.
- PL: **jądro przejścia**: Rozkład następnego stanu dla ustalonego stanu i działania.
- EN: **Markov property**: The future depends on the current state without additional information from the past.
- EN: **transition kernel**: The next-state distribution for a given state and action.

## Know first

- [Rozkłady prawdopodobieństwa (Probability distributions)](https://aiatlasgraph.com/t/distributions.md)

## Examples

- PL: Stan · akcja · nagroda · dyskonto γ · epizod · częściowa obserwowalność (POMDP)
- EN: State · action · reward · discount γ · episode · partial observability (POMDP)

## Related topics

Untyped, symmetric "see also" links.

- [Modele probabilistyczne (Probabilistic models)](https://aiatlasgraph.com/t/probabilistic.md)
- [Oczekiwana użyteczność i decyzje w niepewności (Expected utility and decisions under uncertainty)](https://aiatlasgraph.com/t/expectedutility.md)

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
- [Gymnasium documentation (Farama Foundation)](<https://gymnasium.farama.org/>) `gymnasium-docs` · by Farama Foundation

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/mdp · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30