Sondy klasyfikacyjne (probing)

Probing classifiers · id probing · aliases: probing, linear probes, probing classifiers, sondy

Klasyfikator uczony na wewnętrznych reprezentacjach modelu, aby sprawdzić, czy da się z nich odczytać określoną własność. Dobry wynik sondy nie dowodzi sam, że model wykorzystuje tę informację w swoim działaniu.

A classifier trained on a model's internal representations to test whether a property can be decoded from them. Strong probe performance alone does not prove that the model uses that information in its behaviour.

In one sentence

To sprawdzanie małym wyuczonym testem, czy z wewnętrznych liczb modelu da się odczytać określoną informację.

This uses a small learned test to check whether particular information can be read from a model's internal numbers.

Problem it solves

Nie wiesz, czy wyuczone zapisy modelu zawierają badaną własność, choć sam model potrafi udzielać odpowiedzi.

You do not know whether learned model representations contain a property, even though the model can produce answers.

What it does

Uczy dodatkowy klasyfikator na wewnętrznych zapisach i sprawdza go na nowych przykładach; odczytanie informacji nie dowodzi jej używania przez model.

It trains an extra classifier on internal representations and tests new examples; reading information does not prove the model uses it.

Everyday example

Mały test próbuje odczytać czas gramatyczny zdania z wewnętrznych liczb modelu, a ty porównujesz wyniki na nowych zdaniach.

A small test tries to read sentence tense from a model's internal numbers, and you compare results on new sentences.

This concerns you if you…

Examples

Related topics

Sources