# Hierarchiczne RL i opcje EN: **Hierarchical reinforcement learning and options** · id `hierarchicalrl` · aliases: hierarchical RL, HRL, options framework, option-critic, temporal abstraction, abstrakcja czasowa, makroakcje Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Algorytmy RL](https://aiatlasgraph.com/t/rlalgorithms.md) › Hierarchiczne RL i opcje ## Description - PL: Dzielenie zachowania na poziomy: polityka nadrzędna wybiera umiejętności trwające wiele kroków (opcje), a te same decydują o ruchach i o tym, kiedy się zakończyć. - EN: Splitting behaviour into levels: a higher-level policy picks multi-step skills (options), which in turn choose low-level moves and when to stop. ## In one sentence - PL: To uczenie działania na dwóch poziomach: najpierw wybór większego kroku, potem drobne ruchy, które go wykonują. - EN: This learns to act at two levels: first choosing a larger step, then the small moves that carry it out. ## Problem it solves - PL: Długie zadania składają się z setek drobnych ruchów, a decydowanie o każdym z osobna sprawia, że nauka trwa bardzo długo. - EN: Long tasks are made of hundreds of small moves, and deciding each one separately makes learning very slow. ## What it does - PL: Jak przepis kulinarny: myślisz „zrób sos, ugotuj makaron”, a każdy z tych kroków sam rozkłada się na drobne czynności. - EN: Like a recipe: you think "make the sauce, cook the pasta", and each of those steps breaks down into small actions on its own. ## Everyday example - PL: Postać w grze najpierw wybiera „idź do drzwi”, a dopiero potem uczy się, jak stawiać kroki i kiedy uznać, że już dotarła. - EN: A game character first chooses "go to the door" and only then learns how to step and when to decide it has arrived. ## This concerns you if you… - PL: Twoje zadanie składa się z wielu etapów - PL: chcesz, by program raz nauczonych umiejętności używał w różnych zadaniach - PL: projektujesz agenta, który ma planować na długi czas - EN: have a task made of many stages - EN: want software to reuse skills it has learned across different tasks - EN: are designing an agent that must plan over a long time ## Keywords options framework · option-critic · semi-MDP · feudal networks · HIRO · skill discovery · temporal abstraction · subgoals ## How it works - PL: Opcja to trójka: zbiór stanów, w których można ją uruchomić, polityka wewnętrzna i funkcja zakończenia; polityka nad opcjami wybiera opcję, która działa aż do zakończenia. Proces decyzyjny Markowa wzbogacony o opcje staje się półmarkowowskim procesem decyzyjnym. Architektura option-critic wyprowadza twierdzenia o gradiencie dla polityk wewnętrznych i funkcji zakończenia i uczy ich razem z polityką nad opcjami; trzeba podać jedynie liczbę opcji. - EN: An option is a triple: the set of states where it can start, an internal policy and a termination function; the policy over options picks an option that runs until it terminates. A Markov decision process with options becomes a semi-Markov decision process. The option-critic architecture derives gradient theorems for internal policies and termination functions and learns them together with the policy over options; only the number of options must be given. ## Limits - PL: Gdy optymalizuje się wyłącznie zwrot, gradient zakończenia z czasem skraca opcje, bo do rozwiązania zadania wystarczą elementarne akcje; autorzy option-critic dodają mały margines w funkcji przewagi, by opcje trwały dłużej. Polityki wewnętrzne szybko stają się deterministyczne i wymagają regularyzacji entropią. Metody oparte na ręcznych podcelach są kosztowne w danych i obliczeniach i trudno je skalować. - EN: When only the return is optimised, the termination gradient shrinks options over time, because primitive actions suffice to solve the task; the option-critic authors add a small margin to the advantage so options last longer. Internal policies quickly become deterministic and need entropy regularisation. Methods built on hand-made subgoals are costly in data and computation and hard to scale. ## Key terms - PL: **opcja**: Rozszerzona w czasie akcja: warunek startu, własna polityka i funkcja zakończenia. - PL: **polityka nad opcjami**: Polityka wyższego poziomu wybierająca, którą opcję uruchomić. - PL: **półmarkowowski proces decyzyjny**: Proces, w którym jedna decyzja może trwać wiele kroków czasu. - EN: **option**: A temporally extended action: an initiation condition, its own policy and a termination function. - EN: **policy over options**: The higher-level policy choosing which option to run. - EN: **semi-Markov decision process**: A process in which one decision can last many time steps. ## Know first - [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md) - [Proces decyzyjny Markowa (MDP) (Markov decision processes (MDP))](https://aiatlasgraph.com/t/mdp.md) ## Examples - PL: opcje · option-critic · sieci feudalne · odkrywanie umiejętności - EN: options · option-critic · feudal networks · skill discovery ## Related topics Untyped, symmetric "see also" links. - [Planowanie automatyczne (PDDL) (Automated planning (PDDL))](https://aiatlasgraph.com/t/classicalplanning.md) ## Sources - [The Option-Critic Architecture]() `option-critic-2016` · by Pierre-Luc Bacon, Jean Harb, Doina Precup --- AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/hierarchicalrl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30