# Podstawy RL

EN: **Reinforcement learning fundamentals** · id `rlbasics`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › Podstawy RL

## Description

- PL: Stany, akcje, nagrody i strategie działania.
- EN: States, actions, rewards and policies.

## In one sentence

- PL: To opis uczenia przez działanie: sytuacja, możliwe ruchy, ich oceny i sposób wybierania kolejnych kroków.
- EN: This describes learning through action: the situation, available moves, their scores and how to choose the next steps.

## Problem it solves

- PL: Zanim program zacznie się uczyć, musisz określić, co widzi, co może zrobić i po czym rozpoznać dobry wynik.
- EN: Before software can learn, you must define what it observes, what it can do and how to recognise a good outcome.

## What it does

- PL: Zapisuje sytuacje, działania i oceny skutków, łącząc bieżący wybór z oczekiwaną korzyścią z dalszych kroków.
- EN: It records situations, actions and outcome scores, connecting a current choice with expected benefits from later steps.

## Everyday example

- PL: W grze określasz pozycję postaci, dozwolone ruchy i punktowanie dotarcia do celu, żeby program miał z czego się uczyć.
- EN: In a game, you define the character's position, allowed moves and scoring for reaching the goal so software has a learning setup.

## This concerns you if you…

- PL: chcesz opisać zadanie uczenia przez próby
- PL: musisz określić działania, obserwacje i ocenę wyniku
- EN: want to describe a trial based learning task
- EN: need to define actions, observations and outcome scores

## Keywords

MDP · POMDP · Bellman equations · value functions · discounted returns · exploration-exploitation · temporal-difference learning · Gymnasium

## How it works

- PL: Interakcję zapisuje się jako przejścia między stanami po wybraniu akcji. Cel uczenia określa oczekiwany zwrot, a polityka i funkcja wartości reprezentują odpowiednio wybór działań oraz ocenę przyszłych rezultatów.
- EN: Interactions are recorded as state transitions after actions are selected. The learning objective specifies expected return, while policies and value functions represent action choices and evaluations of future outcomes.

## Limits

- PL: Obserwacja może nie ujawniać pełnego stanu. Nagrody opóźnione lub rzadkie utrudniają przypisanie zasługi, a maksymalizacja zwrotu zależy od przyjętego horyzontu.
- EN: Observations may not reveal the full state. Delayed or sparse rewards complicate credit assignment, and return maximisation depends on the chosen horizon.

## Key terms

- PL: **stan**: Informacja opisująca sytuację istotną dla przyszłych przejść i nagród.
- PL: **dyskontowanie**: Zmniejszanie udziału późniejszych nagród w obliczanym zwrocie.
- EN: **state**: Information describing a situation relevant to future transitions and rewards.
- EN: **discounting**: Reducing later rewards' contribution to the computed return.

## Know first

- [Statystyka i niepewność (Statistics and uncertainty)](https://aiatlasgraph.com/t/probability.md)

## Examples

- PL: MDP · policy · value function

## Subtopics (9 direct, 9 in total)

- [Częściowa obserwowalność (POMDP) (Partially observable MDPs (POMDP))](https://aiatlasgraph.com/t/pomdp.md): Decision-making when observations do not reveal the full state of the world, so the agent must combine information over time, e.g. through a belief state or network memory.
- [Funkcje wartości i równanie Bellmana (Value functions and the Bellman equation)](https://aiatlasgraph.com/t/bellman.md): How much reward to expect from a state or action; the Bellman equation links the value now to the value one step later. The basis of Q-learning and actor–critic methods.
- [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md): A formal model of sequential decision-making in RL: states, actions, transition probabilities, rewards and a discount factor. One of the standard starting points for describing RL algorithms.
- [Programowanie dynamiczne: iteracja wartości i polityki (Dynamic programming for MDPs (value and policy iteration))](https://aiatlasgraph.com/t/dynamicprogramming.md): Computing an optimal policy when the transition and reward model is fully known, by repeatedly applying the Bellman equations. The reference point for methods that learn from trials.
- [Projektowanie i kształtowanie nagrody (Reward design and reward shaping)](https://aiatlasgraph.com/t/rewarddesign.md): Specifying the reward signal so the agent learns the intended behaviour, and adding auxiliary rewards that speed up learning without changing the goal.
- [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md): Learning value functions from experience without an environment model: Monte Carlo averages full episode returns, while TD updates estimates after every step using the next state's estimate.
- [Wielorękie bandyty: eksploracja kontra eksploatacja (Multi-armed and contextual bandits)](https://aiatlasgraph.com/t/bandits.md): Repeatedly choosing among options with unknown rewards while balancing exploration of new possibilities against exploitation of the current best. Used in recommendation and adaptive online experimentation.
- [Środowiska i symulatory do RL (RL environments and simulators)](https://aiatlasgraph.com/t/rlenvs.md): The standard reset/step interface and ready-made environments where agents practise; also physics simulators for robots.
- [„Śmiertelna triada” w RL (The deadly triad in reinforcement learning)](https://aiatlasgraph.com/t/deadlytriad.md): Generalising value functions with approximators, and the instability arising from combining approximation, bootstrapping and off-policy learning.

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
- [Stanford CS221 · AI: Principles and Techniques (2025)](<https://stanford-cs221.github.io/autumn2025/>) `cs221` · reference: Rozumowanie, przeszukiwanie, logika i modele probabilistyczne.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/rlbasics · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30