# Bezpieczne RL i RL z ograniczeniami EN: **Safe and constrained reinforcement learning** · id `saferl` · aliases: safe RL, safe reinforcement learning, constrained RL, constrained MDP, CMDP, constrained policy optimization, CPO, bezpieczne uczenie ze wzmocnieniem Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Bezpieczne RL i RL z ograniczeniami ## Description - PL: Uczenie polityk, które maksymalizują nagrodę, a jednocześnie mają utrzymywać koszt lub ryzyko w wyznaczonych granicach w czasie nauki lub wdrożenia, np. przez osobny limit oczekiwanego kosztu zamiast wbudowywania kar w nagrodę. Gwarancje dotyczą zwykle wartości oczekiwanych, nie każdego przebiegu. - EN: Learning policies that maximise reward while aiming to keep cost or risk within set limits during training or deployment, e.g. through a separate cap on expected cost instead of folding penalties into the reward. Guarantees usually hold in expectation, not for every run. ## In one sentence - PL: To uczenie programu działania tak, by osiągał cel, a przy tym trzymał ryzyko w ustalonych granicach – zwykle średnio, a nie z pewnością w każdej sytuacji. - EN: This teaches software to reach its goal while keeping risk within set limits – usually on average, not with certainty in every situation. ## Problem it solves - PL: Uczenie przez próby oznacza błędy, a niektóre z nich są tak kosztowne, że ich częstość trzeba ograniczać już w trakcie nauki, a nie tylko karać po fakcie. - EN: Learning through trials means making mistakes, and some are so costly that their frequency has to be limited during learning, not just punished after the fact. ## What it does - PL: Jak nauka jazdy z limitem punktów karnych: ćwiczysz, żeby jeździć lepiej, a instruktor pilnuje, by suma przewinień nie przekroczyła ustalonego progu. - EN: Like driving lessons with a penalty-point cap: you practise to drive better while the instructor makes sure your total offences stay under a set threshold. ## Everyday example - PL: Robot magazynowy uczy się szybciej rozwozić paczki, a osobny licznik ryzykownych zbliżeń do ludzi ma średnio nie przekraczać ustalonego progu; obok działają niezależne zabezpieczenia, bo sama nauka nie daje pewności. - EN: A warehouse robot learns to deliver parcels faster while a separate count of risky approaches to people should stay under a set threshold on average; independent safeguards run alongside, because learning alone gives no certainty. ## This concerns you if you… - PL: Twój system działa fizycznie obok ludzi lub drogiego sprzętu - PL: chcesz kontrolować ryzyko osobnym limitem, a nie tylko karą wliczoną w nagrodę - PL: odpowiadasz za wdrożenie programu uczącego się w prawdziwym świecie - EN: your system physically operates near people or expensive equipment - EN: want to control risk with a separate limit, not only a penalty folded into the reward - EN: are responsible for deploying a learning system in the real world ## Keywords constrained MDP · Constrained Policy Optimization · Lagrangian methods · safe exploration · shielding · Safety Gym · risk-sensitive RL · CVaR ## How it works - PL: Zadanie zapisuje się jako proces decyzyjny z ograniczeniami: obok nagrody jest koszt, którego oczekiwana suma ma nie przekroczyć progu. Metody lagranżowskie dostrajają karę automatycznie, a CPO aktualizuje politykę w obszarze zaufania z gwarancją bliskiego spełnienia ograniczeń w każdej iteracji. Przegląd z 2015 r. dzieli podejścia na zmianę kryterium optymalności i zmianę procesu eksploracji. - EN: The task is written as a constrained MDP: besides the reward there is a cost whose expected sum must stay under a threshold. Lagrangian methods tune the penalty automatically, while CPO updates the policy within a trust region with near-constraint-satisfaction guarantees at each iteration. A 2015 survey splits approaches into changing the optimality criterion and changing the exploration process. ## Limits - PL: Gwarancje dotyczą zwykle wartości oczekiwanych, a w przypadku CPO – bliskiego spełnienia ograniczeń w każdej iteracji, nie każdego pojedynczego przebiegu; zakładają też poprawny model kosztu. Bezpieczeństwo w czasie nauki jest trudniejsze niż po nauce, a ograniczenia spełnione w symulacji nie przenoszą się automatycznie na świat rzeczywisty, dlatego w systemach fizycznych łączy się te metody z niezależnymi zabezpieczeniami. - EN: Guarantees usually hold in expectation – for CPO, near-constraint satisfaction at each iteration – not for every single run, and assume a correct cost model. Safety during training is harder than after it, and constraints met in simulation do not automatically transfer to the real world, so physical systems pair these methods with independent safeguards. ## Key terms - PL: **proces decyzyjny z ograniczeniami**: Proces Markowa z dodatkowym kosztem, którego oczekiwana suma ma limit. - PL: **relaksacja lagranżowska**: Zamiana ograniczenia na karę z automatycznie dostrajanym mnożnikiem. - PL: **bezpieczna eksploracja**: Zbieranie doświadczeń bez wchodzenia w zakazane stany. - EN: **constrained MDP**: A Markov process with an extra cost whose expected sum is capped. - EN: **Lagrangian relaxation**: Turning a constraint into a penalty with an automatically tuned multiplier. - EN: **safe exploration**: Gathering experience without entering forbidden states. ## Know first - [Proximal Policy Optimization (PPO) (Proximal policy optimization (PPO))](https://aiatlasgraph.com/t/ppo.md) - [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md) ## Examples - PL: procesy decyzyjne z ograniczeniami · metody lagranżowskie · osłony bezpieczeństwa · RL wrażliwe na ryzyko - EN: constrained MDPs · Lagrangian methods · safety shields · risk-sensitive RL ## Related topics Untyped, symmetric "see also" links. - [Projektowanie i kształtowanie nagrody (Reward design and reward shaping)](https://aiatlasgraph.com/t/rewarddesign.md) - [Przenoszenie z symulacji do rzeczywistości (sim-to-real) (Sim-to-real transfer)](https://aiatlasgraph.com/t/simtoreal.md) - [Rozkładowe uczenie ze wzmocnieniem (Distributional reinforcement learning)](https://aiatlasgraph.com/t/distributionalrl.md) ## Sources - [Constrained Policy Optimization]() `cpo-2017` · by Joshua Achiam, David Held, Aviv Tamar, Pieter Abbeel - [A Comprehensive Survey on Safe Reinforcement Learning]() `garcia-safe-rl-survey-2015` · by Javier García, Fernando Fernández --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/saferl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30