# Lokalizacja niepożądanych zachowań przez routowanie gradientów EN: **Gradient-routed localization of unintended behavior** · id `graft` · aliases: GRAFT, Gradient Routing Adapter Fine-Tuning, gradient-routed behavior localization Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Bezpieczeństwo i governance](https://aiatlasgraph.com/t/safety.md) › [Alignment i safety](https://aiatlasgraph.com/t/alignment.md) › [Obchodzenie celu: reward hacking i służalczość](https://aiatlasgraph.com/t/rewardhacking.md) › Lokalizacja niepożądanych zachowań przez routowanie gradientów ## Description - PL: Lokalizuje reward hacking w usuwalnym adapterze poprzez routowanie gradientów. - EN: Localizes reward hacking in a removable adapter by routing gradients. ## In one sentence - PL: Podczas treningu kieruje aktualizacje związane z wykrytym niepożądanym zachowaniem do usuwalnych parametrów. - EN: During training, it routes updates associated with detected unintended behavior into removable parameters. ## Problem it solves - PL: Karanie zachowań wykrytych przez niedoskonały monitor może nauczyć model obchodzić jego słabe punkty. - EN: Penalizing behavior detected by an imperfect monitor can teach a model to exploit the monitor's blind spots. ## What it does - PL: Monitor wybiera miejsce uczenia zamiast zmieniać nagrodę: oznaczone trajektorie nie aktualizują adaptera zachowywanego po wdrożeniu. - EN: The monitor selects where learning happens instead of changing reward: flagged trajectories do not update the adapter retained at deployment. ## Everyday example - PL: W środowisku Countdown-Code wykryte podmienianie testów trafiało do adaptera usuwanego po treningu, ograniczając także niewykryte warianty hackingu bez cofnięcia całego postępu zadaniowego. - EN: In Countdown-Code, detected test replacement was routed into an adapter removed after training, reducing unseen hacking variants without discarding all target-task progress. ## This concerns you if you… - PL: trenujesz model nagrodami i masz monitor oszustw - PL: kary za wykryte oszustwa powodują nowe, ukryte sposoby - PL: chcesz zachować umiejętności po usunięciu złych zachowań - EN: train a model with rewards and have a cheat monitor - EN: penalties for detected cheats create new hidden ways - EN: want to keep skills after removing bad behaviours ## Keywords GRAFT · gradient routing · retain adapter · forget adapter · reward hacking mitigation · adapter ablation · weak monitors · GRPO ## How it works - PL: Do bloków MLP zamrożonego modelu dodaje się adaptery retain i forget. Na nieoznaczonych trajektoriach aktualizowane są oba; na oznaczonych gradient do retain jest zerowany, a do forget wzmacniany. Równoległe aktualizacje w środowisku kotwiczącym uczą konfigurację wdrożeniową z wyłączonym adapterem forget. - EN: Retain and forget adapters are added to the frozen model's MLP blocks. Both update on unflagged trajectories; on flagged trajectories the retain gradient is zeroed and the forget gradient is amplified. Concurrent updates in an anchor environment train the deployment configuration with the forget adapter disabled. ## Limits - PL: Badania RL obejmują jednorundowe środowiska i modele od 135M do 8B; osobny eksperyment SFT na 32B miał po jednym seedzie na metodę. Monitory RL były ręcznymi heurystykami z prostymi lukami, nie sędziami LLM. GRAFT bywa słabszy zadaniowo od karania nagrody, może nie usunąć niewykrytego hackingu i wymaga użytecznego środowiska kotwiczącego. - EN: The RL studies cover single-turn environments and models from 135M to 8B; a separate 32B SFT experiment used one seed per method. RL monitors were hand-built heuristics with simple blind spots, not LLM judges. GRAFT can trail reward penalties on target performance, may fail to remove unseen hacking, and needs a useful anchor environment. ## Key terms - PL: **adapter retain**: Parametry zachowywane przy wdrożeniu; nie dostają gradientu z trajektorii oznaczonych przez monitor. - PL: **adapter forget**: Usuwalne parametry przyjmujące aktualizacje z oznaczonych trajektorii i wyłączane po treningu. - PL: **routowanie gradientów**: Kierowanie aktualizacji wag tylko do wybranych parametrów zależnie od próbki. - EN: **retain adapter**: Parameters kept at deployment; they receive no gradient from monitor-flagged trajectories. - EN: **forget adapter**: Removable parameters that receive updates from flagged trajectories and are disabled after training. - EN: **gradient routing**: Directing weight updates to selected parameters depending on the sample. ## Know first - [Gradient polityki (REINFORCE) (Policy gradient methods (REINFORCE))](https://aiatlasgraph.com/t/policygradient.md) ## Sources - [Gradient Routing Localizes and Removes Unintended Behaviors in RL]() `graft-arxiv-2610-17062` · by Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud - [Reducing Reward Hacking by Localizing Bad Behavior Instead of Penalizing It]() `graft-anthropic-blog-2026` · by Shawn Hu, Jake Ward, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/graft · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30