Wyjaśnienia przez wektory aktywacji pojęć (TCAV)

Concept activation vector explanations (TCAV) · id conceptexplanations · aliases: TCAV, concept activation vectors, CAV, wyjaśnienia przez wektory aktywacji pojęć

Metody wyjaśniania przez kierunki pojęć w przestrzeni aktywacji; TCAV mierzy wrażliwość predykcji klasy na zdefiniowane przez użytkownika pojęcie.

Explanation methods using concept directions in activation space; TCAV measures a class prediction's sensitivity to a user-defined concept.

In one sentence

Sprawdzanie, jak bardzo wybrane ludzkie pojęcie, np. „paski”, wpływa na decyzję modelu, zamiast wskazywać pojedyncze piksele.

Checking how much a chosen human idea, such as “stripes”, affects a model's decision, instead of pointing at single pixels.

Problem it solves

Mapa podświetlonych pikseli nie mówi, czy model kieruje się kształtem, kolorem czy tłem, a to kluczowe dla zaufania.

A map of highlighted pixels does not say whether the model relies on shape, colour or background, which matters for trust.

What it does

Pokazujesz modelowi przykłady pojęcia i przykłady losowe, uczysz kierunek „tego pojęcia” w jego wnętrzu i mierzysz, jak mocno pcha on decyzję.

You show the model examples of a concept and random examples, learn the concept's direction inside it, and measure how hard it pushes the decision.

Everyday example

Lekarz sprawdza, czy model oceniający zdjęcia skóry kieruje się kształtem zmiany, czy obecnością linijki obok niej na zdjęciu.

A doctor checks whether a skin-photo model relies on the lesion's shape or on a ruler lying next to it in the picture.

This concerns you if you…

Related topics

Sources