Proces decyzyjny Markowa (MDP)

Markov decision processes (MDP) · id mdp

Formalny zapis problemu decyzyjnego w RL: stany, akcje, prawdopodobieństwa przejść, nagrody i współczynnik dyskonta. Jeden z podstawowych punktów wyjścia do opisu algorytmów RL.

A formal model of sequential decision-making in RL: states, actions, transition probabilities, rewards and a discount factor. One of the standard starting points for describing RL algorithms.

In one sentence

To matematyczny opis kolejnych decyzji za pomocą sytuacji, działań, szans ich skutków i ocen wyniku.

This mathematically describes sequential decisions through situations, actions, probabilities of their effects and outcome scores.

Problem it solves

Bez wspólnego opisu trudno porównywać strategie i określić, czego program ma się nauczyć z kolejnych prób.

Without a shared description, strategies are hard to compare and the intended learning from successive trials is unclear.

What it does

Zakłada, że opis obecnej sytuacji wystarcza do przewidywania następnego kroku; zapisuje możliwe przejścia, ich szanse i oceny.

It assumes the current situation contains what is needed to predict the next step and records possible transitions, their probabilities and scores.

Everyday example

W prostym zadaniu nawigacji zapisujesz pozycję i energię robota, dostępne ruchy, możliwe nowe sytuacje oraz ocenę dotarcia do celu.

In a simple navigation task, you record robot position and energy, available moves, possible next situations and a score for reaching the goal.

This concerns you if you…

Examples

Related topics

Sources