# Selektywny nadzór eksperta w ciągłym treningu agentów EN: **Selective expert supervision in continual agent reinforcement learning** · id `tsrlcontinual` · aliases: TSRL, trigger-based supervised reinforcement learning, hard-state SFT in agent RL Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Uczenie ciągłe i transfer](https://aiatlasgraph.com/t/continual.md) › Selektywny nadzór eksperta w ciągłym treningu agentów ## Description - PL: RL jako główny mechanizm uczenia z selektywnym SFT aktywowanym w trudnych stanach podczas ciągłego treningu agentów. - EN: RL as backbone with selective SFT activated on hard states for continual agent training. ## In one sentence - PL: Trening agentów, który dodaje wskazówki eksperta tylko wtedy, gdy model sam sobie nie radzi. - EN: Agent training that adds expert hints only when the model cannot manage on its own. ## Problem it solves - PL: Uczenie nowych zadań może osłabiać umiejętności agenta nabyte na wcześniejszych zadaniach. - EN: Teaching an agent new tasks can weaken skills acquired on earlier tasks. ## What it does - PL: Główny trening wykorzystuje nagrody, a nadzór eksperta włącza się tylko dla stanów, których grupowy współczynnik sukcesu nie przekracza ustalonego progu. - EN: Main training uses rewards, while expert supervision turns on only for states whose group success rate does not exceed a chosen threshold. ## Everyday example - PL: Agent uczy się obsługi nowego sklepu internetowego. Gdy wielokrotnie gubi się w danym kroku, dostaje poprawną akcję; selektywny nadzór ma ograniczyć pogorszenie wcześniejszych umiejętności. - EN: An agent learns to use a new online shop. When it repeatedly gets stuck at a step, it receives the correct action; selective supervision is meant to reduce degradation of earlier skills. ## This concerns you if you… - PL: dokładasz agentowi kolejne zadania po kolei - PL: chcesz zachować stare umiejętności podczas nowego treningu - PL: masz demonstracje eksperta tylko dla trudnych sytuacji - EN: add successive tasks to an agent one after another - EN: want to keep old skills during new training - EN: have expert demonstrations only for hard situations ## Keywords TSRL · trigger-based SFT · hard states · continual agent training · Group Success Rate · selective supervision · catastrophic forgetting · GRPO ## How it works - PL: RL optymalizuje politykę. Mechanizm wyzwalający włącza SFT, gdy Group Success Rate w grupie próbek nie przekracza progu, dodając gradient z demonstracji eksperta. Liniowy harmonogram stopniowo zmniejsza wagę nadzoru. Analiza teoretyczna ogranicza skumulowaną zmianę parametrów względem pełnego SFT i wiąże mniejszy dryf z mniejszym zapominaniem. - EN: RL optimizes the policy. A trigger activates SFT when Group Success Rate in the sample group does not exceed a threshold, adding a gradient from an expert demonstration. A linear schedule gradually reduces the supervision weight. The theoretical analysis bounds cumulative parameter change relative to full SFT and links lower drift to reduced forgetting. ## Limits - PL: Wymaga demonstracji eksperta dla trudnych stanów oraz definicji sukcesu, progu wyzwalania i harmonogramu wygaszania. Wyniki pokazano na ALFWorld, WebShop i Deep Search dla modeli 7B i 32B; nie dowodzą one braku zapominania ani skuteczności poza tym zakresem. - EN: It requires expert demonstrations for hard states plus a success definition, trigger threshold, and annealing schedule. Results were shown on ALFWorld, WebShop, and Deep Search with 7B and 32B models; they do not establish zero forgetting or effectiveness outside that scope. ## Key terms - PL: **trudny stan**: Stan, którego grupowy współczynnik sukcesu nie przekracza ustalonego progu. - PL: **Group Success Rate**: Udział udanych odpowiedzi w grupie próbek z bieżącej polityki. - PL: **wygaszanie**: Stopniowe zmniejszanie wpływu nadzoru eksperta w trakcie treningu. - EN: **hard state**: A state whose group success rate does not exceed the chosen threshold. - EN: **Group Success Rate**: Share of successful responses in a group of samples from the current policy. - EN: **annealing**: Gradually reducing the influence of expert supervision during training. ## Know first - [Katastrofalne zapominanie i jego ograniczanie (Catastrophic forgetting and its mitigation)](https://aiatlasgraph.com/t/forgetting.md) - [GRPO i warianty bez krytyka (GRPO and critic-free policy optimization)](https://aiatlasgraph.com/t/grpo.md) - [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md) ## Sources - [TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training]() `tsrl-continual-2026` · by Yuqian Fu, Kaiwen Jiang, Zijun Song, Jiawei Wang, Yuanheng Zhu, Dongbin Zhao --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/tsrlcontinual · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30