Lokalizuje reward hacking w usuwalnym adapterze poprzez routowanie gradientów.
Localizes reward hacking in a removable adapter by routing gradients.
Podczas treningu kieruje aktualizacje związane z wykrytym niepożądanym zachowaniem do usuwalnych parametrów.
During training, it routes updates associated with detected unintended behavior into removable parameters.
Karanie zachowań wykrytych przez niedoskonały monitor może nauczyć model obchodzić jego słabe punkty.
Penalizing behavior detected by an imperfect monitor can teach a model to exploit the monitor's blind spots.
Monitor wybiera miejsce uczenia zamiast zmieniać nagrodę: oznaczone trajektorie nie aktualizują adaptera zachowywanego po wdrożeniu.
The monitor selects where learning happens instead of changing reward: flagged trajectories do not update the adapter retained at deployment.
W środowisku Countdown-Code wykryte podmienianie testów trafiało do adaptera usuwanego po treningu, ograniczając także niewykryte warianty hackingu bez cofnięcia całego postępu zadaniowego.
In Countdown-Code, detected test replacement was routed into an adapter removed after training, reducing unseen hacking variants without discarding all target-task progress.