# Proximal Policy Optimization (PPO)

EN: **Proximal policy optimization (PPO)** · id `ppo`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Proximal Policy Optimization (PPO)

## Description

- PL: Metoda gradientu polityki wykorzystująca zastępczą funkcję celu, zaprojektowaną tak, by ograniczać zbyt duże zmiany polityki podczas aktualizacji. Szeroko stosowana w symulacjach, robotyce i części systemów RLHF.
- EN: A policy-gradient method using a surrogate objective designed to constrain overly large policy changes during updates. Widely used in simulation, robotics and some RLHF systems.

## In one sentence

- PL: To uczenie lepszych wyborów z ograniczaniem zbyt dużych zmian w sposobie działania programu.
- EN: This learns better choices while limiting overly large changes to how a program acts.

## Problem it solves

- PL: Gwałtowna zmiana po udanych próbach może popsuć wyuczone zachowanie i utrudnić dalszą naukę.
- EN: A large change after successful trials may disrupt learned behaviour and make further learning harder.

## What it does

- PL: Poprawia szanse wyboru działań według ich ocen, ograniczając zachętę do aktualizacji, które za mocno zmieniają dotychczasowe prawdopodobieństwa.
- EN: It improves action probabilities using outcome assessments while limiting incentives for updates that change the previous probabilities too much.

## Everyday example

- PL: Robot ćwiczy chód w symulatorze, a kolejne poprawki jego wyborów są ograniczane, żeby nie przebudować zachowania naraz.
- EN: A robot practises walking in a simulator, with successive choice updates constrained to avoid changing the behaviour too abruptly.

## This concerns you if you…

- PL: nauka zachowania bywa niestabilna po dużych zmianach
- PL: chcesz poprawiać strategię na podstawie kolejnych prób
- EN: find behavioural learning unstable after large changes
- EN: want to improve a strategy using successive trials

## Keywords

clipped surrogate objective · Generalized Advantage Estimation · importance ratios · KL penalty · minibatch updates

## How it works

- PL: Cel zastępczy waży przewagi ilorazem prawdopodobieństw akcji pod nową i poprzednią polityką. Przycinanie tego ilorazu ogranicza zachętę do dużych zmian podczas kolejnych aktualizacji na zebranej partii.
- EN: A surrogate objective weights advantages by action-probability ratios under new and previous policies. Clipping this ratio limits incentives for large changes during repeated updates on a collected batch.

## Limits

- PL: Przycięcie celu nie gwarantuje ścisłej granicy zmiany całej polityki. Metoda wymaga świeżych interakcji, a jakość zależy od estymacji przewagi i ustawień optymalizacji.
- EN: Objective clipping does not guarantee a strict bound on overall policy change. The method needs fresh interactions, and quality depends on advantage estimates and optimisation settings.

## Key terms

- PL: **cel zastępczy**: Funkcja optymalizowana jako praktyczne przybliżenie właściwego celu uczenia.
- PL: **clipping**: Ograniczanie wartości użytej w celu, osłabiające wpływ zbyt dużych zmian.
- EN: **surrogate objective**: A function optimised as a practical approximation of the learning objective.
- EN: **clipping**: Bounding a value used in the objective to weaken excessive changes.

## Know first

- [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md)
- [Metody aktor–krytyk (A2C, SAC) (Actor–critic methods (A2C, SAC))](https://aiatlasgraph.com/t/actorcritic.md)

## Examples

- PL: Clipped objective · GAE · wiele epok na jednej porcji danych
- EN: Clipped objective · GAE · multiple epochs per batch

## Related topics

Untyped, symmetric "see also" links.

- [Klasyczny RLHF: SFT → model nagrody → PPO (Classic RLHF pipeline with PPO)](https://aiatlasgraph.com/t/rlhfppo.md)
- [RL z nagrodą (Reinforcement learning with rewards)](https://aiatlasgraph.com/t/rlpolicy.md)

## Sources

- [Berkeley CS185/285 · Deep Reinforcement Learning (2026)](<https://rail.eecs.berkeley.edu/deeprlcourse/>) `rl` · reference: Uczenie przez wzmacnianie, imitacja, sterowanie i RL dla LLM.
- [OpenAI Spinning Up — Part 2: Kinds of RL Algorithms](<https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html>) `spinningup-rl-taxonomy` · by Joshua Achiam / OpenAI
- [Hugging Face Deep Reinforcement Learning Course — unit list](<https://huggingface.co/learn/deep-rl-course/unit0/introduction>) `hf-deep-rl-course` · by Hugging Face
- [Proximal Policy Optimization Algorithms](<https://arxiv.org/abs/1707.06347>) `ppo-2017` · by J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/ppo · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30