Sterowanie aktywacjami (wektory sterujące)

Activation steering and representation engineering · id activationsteering · aliases: steering vectors, activation steering, representation engineering, RepE, activation addition

Znajdowanie w aktywacjach kierunków lub reprezentacji związanych z pojęciem i ich wzmacnianie albo tłumienie podczas działania modelu, aby badać lub zmieniać jego zachowanie bez ponownego trenowania.

Finding directions or representations in activations associated with a concept and amplifying or suppressing them at run time to study or change model behaviour without retraining.

In one sentence

To zmienianie wewnętrznych liczb modelu podczas odpowiedzi, żeby badać lub kierować jego zachowaniem.

This changes a model's internal numbers during an answer to investigate or guide its behaviour.

Problem it solves

Chcesz sprawdzić wpływ konkretnej reprezentacji lub zmienić zachowanie bez ponownego uczenia całego modelu.

You want to examine a representation's effect or change behaviour without retraining the whole model.

What it does

Znajduje kierunek związany z badaną cechą i wzmacnia lub osłabia go podczas obliczeń, mierząc zmianę odpowiedzi i skutki uboczne.

It finds a direction associated with a property and amplifies or reduces it during computation, measuring answer changes and side effects.

Everyday example

W eksperymencie wzmacniasz wewnętrzny sygnał związany z odmową i sprawdzasz, jak zmieniają się odpowiedzi na bezpieczne oraz ryzykowne pytania.

In an experiment, you amplify an internal signal associated with refusal and examine answers to ordinary and risky questions.

This concerns you if you…

Examples

Related topics

Sources