Mapy istotności dla sieci neuronowych

Saliency maps and gradient attribution · id saliencymaps · aliases: saliency maps, Grad-CAM, integrated gradients, gradient attribution, mapy cieplne uwagi

Wizualizacje przypisujące pikselom lub tokenom ważność dla wyniku sieci na podstawie gradientów albo aktywacji. Wysoka ważność nie jest sama w sobie dowodem przyczynowego wpływu.

Visualisations assigning importance to pixels or tokens for a network output using gradients or activations. High importance is not by itself evidence of causal influence.

In one sentence

To mapy wskazujące fragmenty obrazu lub tekstu powiązane z konkretnym wynikiem modelu.

These maps highlight image or text parts associated with a particular model result.

Problem it solves

Nie wiesz, które fragmenty wejścia wiążą się z odpowiedzią, zwłaszcza gdy obraz lub tekst zawiera wiele szczegółów.

You do not know which input parts relate to an answer, especially when an image or text contains many details.

What it does

Wylicza ważność fragmentów z wewnętrznych sygnałów lub wrażliwości wyniku i zaznacza ją na wejściu; mapa sama nie dowodzi przyczyny decyzji.

It scores parts using internal signals or output sensitivity and highlights them on the input; the map alone does not establish decision causes.

Everyday example

Przy rozpoznawaniu uszkodzenia części oglądasz podświetlone fragmenty zdjęcia i sprawdzasz, czy model skupia się na części czy tle.

For a defective part classification, you inspect highlighted image areas and check whether the model focuses on the part or background.

This concerns you if you…

Examples

Related topics

Sources