# Deterministyczne gradienty polityki

EN: **Deterministic policy-gradient methods** · id `ddpgtd3` · aliases: deterministic policy gradient, DPG

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Deterministyczne gradienty polityki

## Description

- PL: Off-policy metody aktor–krytyk dla akcji ciągłych z deterministycznym aktorem; TD3 dodaje poprawki ograniczające przeszacowanie wartości w DDPG.
- EN: Off-policy actor–critic methods for continuous actions with a deterministic actor; TD3 adds fixes that curb DDPG's value overestimation.

## In one sentence

- PL: Metoda uczenia płynnego sterowania, w której program od razu wskazuje jedną konkretną wartość, np. jak mocno skręcić kierownicą.
- EN: A method for learning smooth control where the program names one exact value right away, such as how far to turn a wheel.

## Problem it solves

- PL: Przy płynnym sterowaniu nie da się sprawdzić wszystkich możliwych ruchów, a zbyt optymistyczne oceny prowadzą agenta na manowce.
- EN: In smooth control you cannot check every possible movement, and overly optimistic estimates lead the agent astray.

## What it does

- PL: Jak pilot, który pyta dwóch ostrożnych doradców i słucha bardziej sceptycznego, a kurs zmienia rzadziej niż dostaje opinie.
- EN: Like a pilot who consults two cautious advisers and heeds the more sceptical one, adjusting course less often than advice arrives.

## Everyday example

- PL: Symulowane ramię robota uczy się płynnie przesuwać kubek po stole, dobierając dokładne napięcie każdego silnika.
- EN: A simulated robot arm learns to slide a cup smoothly across a table by choosing the exact voltage for each motor.

## This concerns you if you…

- PL: sterujesz silnikami, kierownicą lub innymi płynnymi wartościami
- PL: chcesz ponownie wykorzystywać zebrane wcześniej doświadczenia
- EN: you control motors, steering or other continuous values
- EN: you want to reuse previously collected experience

## Keywords

DDPG · TD3 · DPG · clipped double Q-learning · target policy smoothing · Ornstein-Uhlenbeck noise · MuJoCo · Stable-Baselines3

## How it works

- PL: Aktor wyznacza akcję deterministycznie, a jego gradient płynie przez krytyka Q względem akcji; eksplorację zapewnia dodany szum. TD3 bierze minimum z dwóch krytyków w celu (clipped double Q), aktualizuje aktora rzadziej niż krytyka i wygładza akcję docelową szumem.
- EN: The actor outputs an action deterministically and its gradient flows through the Q critic with respect to the action; exploration comes from added noise. TD3 takes the minimum of two critics in the target (clipped double Q), updates the actor less often than the critic and smooths the target action with noise.

## Limits

- PL: Działa tylko dla akcji ciągłych. Eksploracja szumem bywa słaba w zadaniach z rzadką nagrodą, a metoda jest wrażliwa na hiperparametry; w praktyce często konkuruje z SAC.
- EN: It works only for continuous actions. Noise-based exploration is weak with sparse rewards and the method is sensitive to hyperparameters; in practice it often competes with SAC.

## Key terms

- PL: **overestimation bias**: Systematyczne zawyżanie ocen działań przez maksymalizację nad zaszumionymi szacunkami.
- PL: **clipped double Q**: Branie mniejszej z dwóch ocen, żeby nie być zbyt optymistycznym.
- PL: **target network**: Wolniej zmieniana kopia sieci, stabilizująca cele uczenia.
- EN: **overestimation bias**: Systematic inflation of action values from maximising over noisy estimates.
- EN: **clipped double Q**: Taking the smaller of two estimates to avoid over-optimism.
- EN: **target network**: A slowly updated network copy that stabilises learning targets.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Q-learning i głębokie sieci Q (DQN) (Q-learning and deep Q-networks (DQN))](https://aiatlasgraph.com/t/qlearning.md)

## Related topics

Untyped, symmetric "see also" links.

- [Metody aktor–krytyk (A2C, SAC) (Actor–critic methods (A2C, SAC))](https://aiatlasgraph.com/t/actorcritic.md)
- [Scentralizowani krytycy w wieloagentowym aktorze–krytyku (Centralised critics in multi-agent actor–critic)](https://aiatlasgraph.com/t/centralcritic.md)

## Sources

- [Addressing Function Approximation Error in Actor-Critic Methods (TD3)](<https://arxiv.org/abs/1802.09477>) `td3-2018` · by Scott Fujimoto; Herke van Hoof; David Meger

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/ddpgtd3 · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30