Podmiana aktywacji (activation patching)

Activation patching · id activationpatching · aliases: activation patching, causal tracing, path patching, interwencje przyczynowe

Eksperyment interwencyjny: aktywacje wybranego komponentu zastępuje się aktywacjami z innego wejścia i mierzy zmianę wyniku. Daje to dowód przyczynowy, którego interpretacja zależy od konstrukcji eksperymentu i użytej metryki.

An intervention experiment: activations of a chosen component are replaced with activations from another input and the output change is measured. This provides causal evidence whose interpretation depends on the experimental design and metric.

In one sentence

To sprawdzanie roli części modelu przez podmianę jej wewnętrznych sygnałów i obserwację zmiany wyniku.

This tests a model component's role by replacing its internal signals and observing changes in the result.

Problem it solves

Samo współwystępowanie sygnału i odpowiedzi nie mówi, czy zmiana tego sygnału wpłynie na wynik.

A signal appearing alongside an answer does not show whether changing that signal affects the output.

What it does

Przenosi wybrane wewnętrzne wartości z innego wejścia i mierzy skutek podmiany; wniosek zależy od doboru par, kontroli i miernika.

It transfers selected internal values from another input and measures the effect; conclusions depend on input pairs, controls and the chosen measure.

Everyday example

Podmieniasz fragment obliczeń między poprawnym i zmienionym pytaniem o fakt, sprawdzając, czy odpowiedź wraca do wcześniejszej wersji.

You replace part of the computation between an original factual question and an altered one, checking whether the answer returns to its earlier version.

This concerns you if you…

Examples

Related topics

Sources