Mechanistyczne sterowanie bezpieczeństwem agentów CLI

Mechanistic subspace safety steering for multi-turn agents · id mechsuits

Eksperymentalna metoda białoskrzynkowa wykrywa szkodliwe stany wykonania wieloturowych agentów CLI z ukrytych reprezentacji i interweniuje w dziesięciu wybranych wymiarach jednej warstwy.

An experimental white-box method detects harmful execution states of multi-turn CLI agents from hidden representations and intervenes in ten selected dimensions of a single layer.

In one sentence

Eksperymentalna metoda wykrywania niebezpiecznych stanów agenta terminalowego w aktywacjach modelu i korygowania ich podczas działania bez zmiany wag.

An experimental method that detects unsafe states of a terminal agent in model activations and corrects them at run time without changing the weights.

Problem it solves

Zewnętrzne zabezpieczenia oceniają tekst lub komendy agenta, lecz nie sterują bezpośrednio jego zmieniającym się stanem wewnętrznym podczas wieloetapowego wykonania.

External safeguards judge agent text or commands but do not directly steer its evolving internal state during multi-step execution.

What it does

Liniowa sonda sprawdza ukryty stan po każdym kroku; gdy wykryje ryzyko, metoda modyfikuje wybrane wymiary aktywacji w kierunku ograniczającym szkodliwe działanie.

A linear probe checks the hidden state after each step; when it detects risk, the method modifies selected activation dimensions in a direction that suppresses harmful action.

Everyday example

W eksperymencie agent CLI przygotowuje szkodliwe polecenie; sonda rozpoznaje ryzykowny stan przed wygenerowaniem kolejnej akcji i uruchamia sterowanie aktywacjami.

In an experiment, a CLI agent is preparing a harmful command; the probe identifies the risky state before the next action is generated and triggers activation steering.

This concerns you if you…

Related topics

Sources