Interpretowalność mechanistyczna

Mechanistic interpretability · id mechinterp

Badanie wewnętrznych komponentów i obliczeń modelu oraz testowanie, jak przyczyniają się do jego zachowania.

Studying a model's internal components and computations and testing how they contribute to its behaviour.

In one sentence

To badanie wewnętrznych obliczeń modelu i eksperymentalne sprawdzanie, jak przyczyniają się do jego odpowiedzi.

This studies a model's internal computations and experimentally checks how they contribute to its answers.

Problem it solves

Same odpowiedzi nie pokazują, jaki mechanizm modelu je wytwarza ani dlaczego czasem prowadzi do błędu.

Answers alone do not show which model mechanism produces them or why it sometimes leads to errors.

What it does

Rozdziela wewnętrzne sygnały na badane elementy, szuka połączeń i sprawdza skutki ich zmian, traktując uzyskany opis jako wymagający walidacji.

It separates internal signals into studied components, seeks connections and tests changes, treating the resulting account as requiring validation.

Everyday example

Badasz, które wewnętrzne sygnały uczestniczą w przypominaniu faktu, i zmieniasz je w kontrolowanych próbach, obserwując odpowiedź.

You investigate internal signals involved in recalling a fact and alter them in controlled trials while observing the answer.

This concerns you if you…

Examples

Subtopics

Related topics

Sources