Adaptacja uprzęży podczas RL

Harness adaptation during agentic reinforcement learning · id harnessadaptrl · aliases: HarnessAdapt-RL, harness adaptation during RL, training the whole agent

RL, w którym polityka i uprząż adaptują się razem na podstawie trajektorii treningowych.

RL in which the policy and harness adapt together based on training trajectories.

In one sentence

Podczas treningu agenta poprawia się też program wokół niego, a nie tylko wagi modelu.

During agent training the program around it is also improved, not just the model weights.

Problem it solves

Błędy w strategii naprawy i problemy interakcji pojawiają się w trakcie treningu, ale uprżąż zostaje stała.

Flawed repair strategies and interaction problems appear during training, but the harness stays fixed.

What it does

Nauczyciel generuje umiejętności i ewoluuje narzędzia, zachowując tylko zmiany, które poprawiają wyniki.

A teacher generates skills and evolves tools, keeping only changes that improve results.

Everyday example

Agent do kodu podczas treningu dostaje nowe haki do testów, bo poprzednie nie pomagały w naprawie błędów.

A coding agent during training gets new hooks for tests because the previous ones did not help fix bugs.

This concerns you if you…

• trenujesz agenta do kodu i widzisz powtarzające się problemy z narzędziami
• chcesz, by trening poprawiał też otoczenie, nie tylko model
• train a coding agent and see repeated tool problems
• want training to improve the surroundings too, not only the model

Related topics

• Koewolucja modelu i uprzęży agenta (Weight-harness co-evolution)

Sources

• Training the Whole Agent, Not Just the Model · Lingxiao Tang, Wei Tao, Yiwen Guo, Lingfeng Bao