# Rekurencyjne samoulepszanie agentów terminalowych EN: **Recursive self-improvement of terminal agents** · id `terminalrsi` · aliases: Terminal-RSI, Recursive Self-Rewrite, RSR RPR, trajectory rewrite policy refine Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Rozumowanie w modelach językowych](https://aiatlasgraph.com/t/reasoningmodels.md) › [Trenowanie modeli rozumujących](https://aiatlasgraph.com/t/reasoningtraining.md) › [RL z weryfikowalnymi nagrodami (RLVR)](https://aiatlasgraph.com/t/rlvr.md) › Rekurencyjne samoulepszanie agentów terminalowych ## Description - PL: Metoda post-trainingu, która przeplata uczenie nadzorowane na zweryfikowanych trajektoriach sukcesu z PPO wykorzystującym dziedziczony model wartości. - EN: A post-training method alternating supervised learning on verified successful trajectories with PPO using an inherited value model. ## In one sentence - PL: Agent uczy się z własnych udanych prób, przepisuje je i poprawia się w kolejnych rundach. - EN: An agent learns from its own successful trials, rewrites them and improves in successive rounds. ## Problem it solves - PL: Agent kończy część zadania, ale nie dochodzi do pełnego, sprawdzonego sukcesu. - EN: The agent finishes part of a task but never reaches full, verified success. ## What it does - PL: Zapisuje udane ścieżki, uczy się z nich, a potem trenuje politykę z oceną postępu. - EN: It records successful paths, learns from them, then trains the policy with progress scoring. ## Everyday example - PL: Asystent w terminalu naprawia skrypt. Zapisuje pełne sukcesy i używa ich, żeby w następnej rundzie kończyć trudniejsze zadania. - EN: A terminal assistant fixes a script. It records full successes and uses them so the next round finishes harder tasks. ## This concerns you if you… - PL: asystent kończy proste komendy, ale gubi się w długich zadaniach - PL: chcesz, by agent poprawiał się na podstawie własnych udanych prób - PL: ręczne zbieranie przykładów do treningu trwa za długo - EN: assistant finishes simple commands but gets lost on long tasks - EN: want the agent to improve from its own successful trials - EN: manually collecting training examples takes too long ## Keywords Terminal-RSI · Recursive Self-Rewrite · Recursive Policy-Refine · TB-GAE · Family Dense Reward · Success-Prioritized Reward · terminal agent RL ## How it works - PL: Recursive Self-Rewrite wybiera zweryfikowane sukcesy, tworzy z nich runbooki, ponownie wykonuje zadania i używa zaakceptowanych trajektorii do SFT aktora przy zamrożonym modelu wartości. Recursive Policy-Refine przejmuje aktora i model wartości, najpierw kalibruje critic, a potem wspólnie trenuje je przez PPO z nagrodami FDR lub SPR. Praca formułuje TB-GAE, lecz nie izoluje jego wkładu, a udokumentowana pierwsza faza używa standardowego GAE. - EN: Recursive Self-Rewrite selects verified successes, derives runbooks, reruns tasks and uses accepted trajectories for actor SFT while keeping the value model fixed. Recursive Policy-Refine inherits the actor and value model, calibrates the critic first, then jointly trains them with PPO using FDR or SPR rewards. The paper formulates TB-GAE but does not isolate its contribution, and the documented first phase uses standard GAE. ## Limits - PL: Wyniki pochodzą z pięciu etapów jednego modelu 27B; trzy ewaluacje bez niezależnych seedów treningowych nie ustanawiają statystycznej przewagi. Między etapami zmieniają się jednocześnie tempo uczenia, nagroda i inicjalizacja, więc wkładu poszczególnych składników nie wyizolowano. Metoda wymaga wielu wykonań oraz wiarygodnych weryfikatorów, które mogą mieć luki, a filtrowanie trajektorii może usuwać użyteczne zachowania. - EN: Results come from five stages of one 27B model; three evaluations without independent training seeds do not establish statistical superiority. Learning rates, rewards and initialization change together across stages, so individual component effects are not isolated. The method requires many executions and reliable verifiers that may contain gaps, while trajectory filtering can discard useful behaviour. ## Key terms - PL: **Recursive Self-Rewrite**: Przepisanie zweryfikowanych sukcesów do uczenia nadzorowanego aktora. - PL: **Recursive Policy-Refine**: Trening PPO z dziedziczonym criticiem i specjalnymi nagrodami. - PL: **TB-GAE**: Szacowanie przewagi z zanikiem tylko na granicach tur. - EN: **Recursive Self-Rewrite**: Rewriting verified successes into supervised training for the actor. - EN: **Recursive Policy-Refine**: PPO training with an inherited critic and specialized rewards. - EN: **TB-GAE**: Advantage estimation with decay only at turn boundaries. ## Know first - [SFT / instruction tuning (Supervised fine-tuning)](https://aiatlasgraph.com/t/sft.md) - [Proximal Policy Optimization (PPO) (Proximal policy optimization (PPO))](https://aiatlasgraph.com/t/ppo.md) ## Related topics Untyped, symmetric "see also" links. - [Koewolucja modelu i uprzęży agenta (Weight-harness co-evolution)](https://aiatlasgraph.com/t/weightharnesscoevo.md) - [Rekurencyjna uprżąż z rewizją wsteczną (Recurrent harness with backward revision)](https://aiatlasgraph.com/t/reharness.md) - [Samonadzór wieloagentowy (MASS) (Multi-agent self-supervision (MASS))](https://aiatlasgraph.com/t/mass.md) ## Sources - [Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine]() `terminal-rsi-2026` · by Junyao Yang; Zongxia Li; Yucheng Shi; Zhongzhi Li; Ruhan Wang; Ruiwen Zhou; Haitao Mi; Shuicheng Yan; Leowei Liang --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/terminalrsi · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30