Metoda gradientu polityki wykorzystująca zastępczą funkcję celu, zaprojektowaną tak, by ograniczać zbyt duże zmiany polityki podczas aktualizacji. Szeroko stosowana w symulacjach, robotyce i części systemów RLHF.
A policy-gradient method using a surrogate objective designed to constrain overly large policy changes during updates. Widely used in simulation, robotics and some RLHF systems.
To uczenie lepszych wyborów z ograniczaniem zbyt dużych zmian w sposobie działania programu.
This learns better choices while limiting overly large changes to how a program acts.
Gwałtowna zmiana po udanych próbach może popsuć wyuczone zachowanie i utrudnić dalszą naukę.
A large change after successful trials may disrupt learned behaviour and make further learning harder.
Poprawia szanse wyboru działań według ich ocen, ograniczając zachętę do aktualizacji, które za mocno zmieniają dotychczasowe prawdopodobieństwa.
It improves action probabilities using outcome assessments while limiting incentives for updates that change the previous probabilities too much.
Robot ćwiczy chód w symulatorze, a kolejne poprawki jego wyborów są ograniczane, żeby nie przebudować zachowania naraz.
A robot practises walking in a simulator, with successive choice updates constrained to avoid changing the behaviour too abruptly.