# Sprawdzanie wierności wyjaśnień (testy poprawności map istotności)

EN: **Evaluating explanation faithfulness (sanity checks and removal tests)** · id `explanationfaithfulness` · aliases: explanation faithfulness, faithfulness evaluation, wierność wyjaśnień, evaluating explanation faithfulness

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Interpretowalność](https://aiatlasgraph.com/t/explainability.md) › Sprawdzanie wierności wyjaśnień (testy poprawności map istotności)

## Description

- PL: Metody oceny, czy wyjaśnienia (np. mapy istotności) zależą od modelu i danych oraz czy usunięcie wskazanych cech faktycznie zmienia predykcję.
- EN: Methods assessing whether explanations (e.g. saliency maps) depend on the model and data, and whether removing highlighted features actually changes predictions.

## In one sentence

- PL: Testy, które sprawdzają, czy wyjaśnienie decyzji modelu naprawdę mówi coś o modelu, a nie tylko ładnie wygląda.
- EN: Tests that check whether an explanation of a model's decision really says something about the model, not just looks convincing.

## Problem it solves

- PL: Wyjaśnienie może wyglądać przekonująco i wskazywać sensowne miejsca, a mimo to nie mieć związku z tym, czego model się nauczył.
- EN: An explanation can look convincing and point at sensible places, yet have nothing to do with what the model learned.

## What it does

- PL: Jak test kontrolny w laboratorium: psuje się model celowo i patrzy, czy wyjaśnienie się zmieni; jeśli nie, nie można mu ufać.
- EN: Like a lab control test: you deliberately break the model and see whether the explanation changes; if not, it cannot be trusted.

## Everyday example

- PL: Podświetlenie na zdjęciu kota wygląda tak samo dla wytrenowanego modelu i dla modelu z losowymi wagami, więc pokazuje tylko krawędzie.
- EN: The highlight on a cat photo looks the same for the trained model and a randomly weighted one, so it only shows edges.

## This concerns you if you…

- PL: dostajesz od narzędzia AI podświetlenia jako uzasadnienie
- PL: wybierasz metodę wyjaśniania modelu do raportu lub audytu
- EN: receive highlights from an AI tool as justification
- EN: choose a model-explanation method for a report or audit

## Keywords

sanity checks · model parameter randomization · ROAR · deletion and insertion metrics · Quantus · faithfulness metrics · Guided Backprop · Integrated Gradients

## How it works

- PL: Testy randomizacji losują wagi kolejnych warstw lub etykiety treningowe i sprawdzają, czy wyjaśnienie się zmienia. Testy usuwania lub wstawiania usuwają najwyżej ocenione cechy (czasem z ponownym treningiem) i mierzą spadek trafności. Porównuje się też wyniki różnych metod na tych samych przykładach.
- EN: Randomisation tests scramble successive layer weights or training labels and check whether the explanation changes. Deletion or insertion tests remove top-ranked features (sometimes retraining) and measure accuracy drop. Results of different methods on the same inputs are also compared.

## Limits

- PL: Usunięcie cech tworzy nienaturalne wejścia, więc spadek trafności może wynikać z przesunięcia rozkładu, a nie z ważności cechy. Zdanie testu nie dowodzi wierności, tylko wyklucza najgorsze przypadki.
- EN: Removing features creates unnatural inputs, so accuracy drops may reflect distribution shift rather than importance. Passing a test does not prove faithfulness; it only rules out the worst cases.

## Key terms

- PL: **test randomizacji modelu**: Porównanie wyjaśnienia dla prawdziwego modelu i modelu z losowymi wagami.
- PL: **krzywa usuwania**: Jak spada pewność modelu, gdy kolejno usuwa się najważniejsze cechy.
- EN: **model randomisation test**: Comparing an explanation for the real model and a randomly weighted one.
- EN: **deletion curve**: How model confidence falls as top-ranked features are removed in turn.

## Know first

- [Mapy istotności dla sieci neuronowych (Saliency maps and gradient attribution)](https://aiatlasgraph.com/t/saliencymaps.md)
- [Wyjaśnianie pojedynczej decyzji (SHAP, LIME) (Local feature attribution (SHAP, LIME))](https://aiatlasgraph.com/t/featureattribution.md)

## Sources

- [Sanity Checks for Saliency Maps](<https://arxiv.org/abs/1810.03292>) `sanity-checks-saliency-2018` · by Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, Been Kim
- [A Benchmark for Interpretability Methods in Deep Neural Networks](<https://arxiv.org/abs/1806.10758>) `roar-interpretability-2019` · by Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/explanationfaithfulness · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06