Koewolucja modelu i uprzęży agenta

Weight-harness co-evolution · id weightharnesscoevo · aliases: Evo2, proposer-reflector co-evolution, weight harness joint training

Jedna polityka pełni role proposera i reflektora, a logi edycji uprzęży służą do treningu jej wag.

A single policy acts as proposer and reflector; harness edit logs train its weights.

In one sentence

Model uczy się zarówno poprawiać program wokół siebie, jak i poprawiać siebie na podstawie tych poprawek.

The model learns both to improve the program around itself and to improve itself from those improvements.

Problem it solves

Poprawa uprzęży i trening wag idą osobno, więc model nie uczy się lepiej proponować zmian.

Harness improvements and weight training stay separate, so the model does not learn to propose better changes.

What it does

Proponuje edycje uprzęży, ocenia ich skutki i używa tych śladów do treningu obu ról.

It proposes harness edits, assesses their effects and uses those traces to train both roles.

Everyday example

Asystent do kodu poprawia sposób szukania plików. Logi tych prób służą do lepszego uczenia modelu, który te poprawki pisze.

A coding assistant improves how it searches files. Logs from those trials then train the model that writes the improvements.

This concerns you if you…

Related topics

Sources