# Ciągłe uczenie ze wzmocnieniem EN: **Continual reinforcement learning** · id `continualrl` · aliases: continual RL, lifelong RL, non-stationary RL Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Uczenie ze wzmocnieniem i decyzje](https://aiatlasgraph.com/t/decisions.md) › [Uogólnianie i adaptacja w RL](https://aiatlasgraph.com/t/rlgeneralization.md) › Ciągłe uczenie ze wzmocnieniem ## Description - PL: Uczenie ze wzmocnieniem w warunkach niestacjonarnych, bez wyraźnego końca treningu, wraz z problemem utraty plastyczności sieci głębokich. - EN: Reinforcement learning under nonstationarity without a fixed end of training, including the loss of plasticity in deep networks. ## In one sentence - PL: Agent uczy się bez końca w zmieniającym się świecie i nie może „zesztywnieć” po pierwszych doświadczeniach. - EN: An agent learns without end in a changing world and must not 'stiffen up' after its first experiences. ## Problem it solves - PL: Długo trenowany agent z czasem coraz gorzej przyswaja nowe rzeczy, a do tego zapomina dawne, gdy świat się zmienia. - EN: An agent trained for a long time gradually absorbs new things less well, and forgets old ones when the world changes. ## What it does - PL: Jak ogrodnik, który przycina część starych gałęzi, żeby drzewo miało siłę wypuszczać nowe pędy. - EN: Like a gardener who prunes some old branches so the tree has strength to grow new shoots. ## Everyday example - PL: System sterujący ogrzewaniem budynku uczy się przez lata, dopasowując się do nowych lokatorów, por roku i wymienionych urządzeń. - EN: A building's heating controller learns for years, adapting to new tenants, seasons and replaced equipment. ## This concerns you if you… - PL: twój agent ma się uczyć po wdrożeniu, nie tylko raz - PL: długi trening przestaje przynosić poprawę - EN: your agent must keep learning after deployment, not once - EN: long training stops bringing improvement ## Keywords loss of plasticity · primacy bias · continual backprop · network resets · ReDo · shrink and perturb · lifelong RL · non-stationary MDP ## How it works - PL: Agent uczy się na strumieniu zmieniających się zadań lub dynamiki. Sieci trenowane długo tracą plastyczność: część neuronów przestaje być aktywna, a agent nadmiernie opiera się na wczesnych danych (primacy bias). Pomagają okresowe resety części sieci, continual backprop reinicjalizujący rzadko używane jednostki oraz regularyzacja w stronę wag początkowych. - EN: The agent learns on a stream of changing tasks or dynamics. Long-trained networks lose plasticity: units go dormant and the agent over-relies on early data (primacy bias). Remedies include periodic partial resets, continual backprop that reinitialises rarely used units and regularisation toward initial weights. ## Limits - PL: Resety chwilowo obniżają wyniki i wymagają bufora danych do odbudowy. Brakuje wspólnych benchmarków i miar, a równowaga między zapominaniem a plastycznością zależy od zadania. - EN: Resets temporarily lower performance and need a data buffer to recover. Shared benchmarks and metrics are lacking, and the balance between forgetting and plasticity is task-dependent. ## Key terms - PL: **loss of plasticity**: Stopniowa utrata zdolności sieci do uczenia się nowych rzeczy. - PL: **primacy bias**: Nadmierne dopasowanie agenta do najwcześniejszych doświadczeń. - PL: **dormant neurons**: Jednostki sieci, które przestały reagować na wejścia. - EN: **loss of plasticity**: A network's gradual loss of ability to learn new things. - EN: **primacy bias**: An agent overfitting to its earliest experiences. - EN: **dormant neurons**: Network units that have stopped responding to inputs. ## Know first - [Katastrofalne zapominanie i jego ograniczanie (Catastrophic forgetting and its mitigation)](https://aiatlasgraph.com/t/forgetting.md) - [Uczenie z różnic czasowych (TD) i metody Monte Carlo (Temporal-difference learning and Monte Carlo methods)](https://aiatlasgraph.com/t/tdlearning.md) ## Sources - [Loss of plasticity in deep continual learning]() `loss-of-plasticity-nature-2024` · by Shibhansh Dohare; J. Fernando Hernandez-Garcia; Qingfeng Lan; Parash Rahman; A. Rupam Mahmood; Richard S. Sutton - [The Primacy Bias in Deep Reinforcement Learning]() `primacy-bias-2022` · by Evgenii Nikishin; Max Schwarzer; Pierluca D'Oro; Pierre-Luc Bacon; Aaron Courville - [Towards Continual Reinforcement Learning: A Review and Perspectives]() `continual-rl-review-2020` · by Khimya Khetarpal; Matthew Riemer; Irina Rish; Doina Precup --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/continualrl · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30