# Metody aktor–krytyk (A2C, SAC)

EN: **Actor–critic methods (A2C, SAC)** · id `actorcritic`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Metody aktor–krytyk (A2C, SAC)

## Description

- PL: Połączenie uczonej polityki (aktor) z funkcją wartości lub Q (krytyk), która dostarcza sygnał do aktualizacji polityki i może zmniejszać wariancję estymatora gradientu. Rodzina szeroko stosowana w sterowaniu ciągłym.
- EN: Combines a learned policy (actor) with a value or Q function (critic) that guides policy updates and can reduce gradient-estimator variance. A widely used family for continuous control.

## In one sentence

- PL: To uczenie wyborów przy pomocy drugiego wyuczonego elementu, który ocenia ich przyszłe skutki.
- EN: This learns choices with help from another learned component that assesses their future consequences.

## Problem it solves

- PL: Sam wynik całej próby daje mało wskazówek, które kolejne decyzje warto poprawić.
- EN: A whole trial's outcome alone gives limited guidance about which individual decisions need improvement.

## What it does

- PL: Jeden element wybiera działania, a drugi szacuje wartość sytuacji lub ruchu i dostarcza wskazówki do poprawiania tych wyborów.
- EN: One component chooses actions while another estimates situation or action values and provides guidance for improving those choices.

## Everyday example

- PL: Robot ćwiczy chwytanie przedmiotu, a wyuczony oceniający element podpowiada, które zmiany ruchu rokują lepszy wynik.
- EN: A robot practises gripping an object while a learned evaluator indicates which movement changes promise a better outcome.

## This concerns you if you…

- PL: chcesz łączyć wybór działań z ich wyuczoną oceną
- PL: sterujesz ruchem wymagającym wielu kolejnych decyzji
- EN: want action choices guided by learned assessments
- EN: control movement requiring many successive decisions

## Keywords

A2C · A3C · SAC · DDPG · TD3 · entropy regularization · advantage estimation

## How it works

- PL: Krytyk dopasowuje estymaty wartości lub wartości działań do zebranych przejść. Aktor aktualizuje politykę na podstawie przewagi albo gradientu wartości ocenionej przez krytyka.
- EN: The critic fits state or action-value estimates to collected transitions. The actor updates its policy using advantages or gradients of values evaluated by the critic.

## Limits

- PL: Błędy krytyka kierują aktualizację aktora w niewłaściwą stronę. Jednoczesne uczenie obu modeli wymaga stabilnych celów, odpowiedniego próbkowania i kontroli skali nagród.
- EN: Critic errors misdirect actor updates. Learning both models together requires stable targets, suitable sampling and control of reward scales.

## Key terms

- PL: **aktor**: Model reprezentujący politykę wyboru działań.
- PL: **krytyk**: Model oceniający oczekiwany zwrot ze stanów lub działań.
- EN: **actor**: A model representing the action-selection policy.
- EN: **critic**: A model estimating expected returns from states or actions.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Funkcje wartości i równanie Bellmana (Value functions and the Bellman equation)](https://aiatlasgraph.com/t/bellman.md)

## Examples

- PL: A2C/A3C · DDPG · TD3 · Soft Actor-Critic (SAC)

## Related topics

Untyped, symmetric "see also" links.

- [Deterministyczne gradienty polityki (Deterministic policy-gradient methods)](https://aiatlasgraph.com/t/ddpgtd3.md)

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
- [OpenAI Spinning Up — Part 2: Kinds of RL Algorithms](<https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html>) `spinningup-rl-taxonomy` · by Joshua Achiam / OpenAI
- [Hugging Face Deep Reinforcement Learning Course — unit list](<https://huggingface.co/learn/deep-rl-course/unit0/introduction>) `hf-deep-rl-course` · by Hugging Face

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/actorcritic · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30