# Funkcje wartości i równanie Bellmana

EN: **Value functions and the Bellman equation** · id `bellman`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Podstawy RL](https://aiatlasgraph.com/t/rlbasics.md) › Funkcje wartości i równanie Bellmana

## Description

- PL: Ile nagrody można się spodziewać z danego stanu lub akcji; równanie Bellmana wiąże wartość teraz z wartością kolejnego kroku. Podstawa Q-learningu i metod aktor–krytyk.
- EN: How much reward to expect from a state or action; the Bellman equation links the value now to the value one step later. The basis of Q-learning and actor–critic methods.

## In one sentence

- PL: To ocenianie sytuacji i działań według oczekiwanej łącznej korzyści z kolejnych kroków.
- EN: This assesses situations and actions by their expected combined benefits over successive steps.

## Problem it solves

- PL: Natychmiastowa korzyść nie pokazuje, czy wybór poprawi cały dalszy przebieg zadania.
- EN: An immediate benefit does not show whether a choice improves the task's later course.

## What it does

- PL: Łączy ocenę najbliższego skutku z oczekiwaną wartością następnej sytuacji, uwzględniając, jak mocno liczą się późniejsze korzyści.
- EN: It combines the next outcome's score with the expected value of the following situation, accounting for how much later benefits matter.

## Everyday example

- PL: Postać w grze porównuje krótki objazd i drogę po nagrodę, uwzględniając też możliwości dalszych ruchów z każdego miejsca.
- EN: A game character compares a short detour with a route towards a reward, also considering future moves available from each location.

## This concerns you if you…

- PL: ważne skutki wyboru pojawiają się dopiero później
- PL: chcesz oceniać całe przebiegi zamiast pojedynczego ruchu
- EN: face important consequences that appear only later
- EN: want to assess whole sequences rather than one move

## Keywords

state-value function · action-value function · value iteration · policy iteration · temporal-difference learning · bootstrapping

## How it works

- PL: Wartość stanu rozkłada się na oczekiwaną nagrodę teraz i zdyskontowaną wartość następnego stanu. Iteracyjne aktualizacje tego związku oceniają politykę, a maksymalizacja po działaniach prowadzi do wartości optymalnej.
- EN: State value decomposes into expected immediate reward and discounted next-state value. Iterative updates of this relationship evaluate a policy, while maximising over actions yields optimal values.

## Limits

- PL: Dokładne obliczenia wymagają modelu przejść lub odpowiednich doświadczeń. Aproksymacja funkcji i długi horyzont mogą kumulować błędy; stabilność zależy od warunków aktualizacji.
- EN: Exact computation requires transition models or suitable experience. Function approximation and long horizons can accumulate errors; stability depends on update conditions.

## Key terms

- PL: **funkcja wartości**: Oczekiwany przyszły zwrot od danego stanu przy określonej polityce.
- PL: **bootstrapping**: Użycie własnej estymaty przyszłej wartości do aktualizacji bieżącej estymaty.
- EN: **value function**: Expected future return from a state under a specified policy.
- EN: **bootstrapping**: Using an estimated future value to update a current estimate.

## Know first

- [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md)

## Examples

- PL: V(s) · Q(s,a) · iteracja wartości · iteracja polityki · uczenie TD
- EN: V(s) · Q(s,a) · value iteration · policy iteration · TD learning

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/bellman · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30