Metody oceny, czy wyjaśnienia (np. mapy istotności) zależą od modelu i danych oraz czy usunięcie wskazanych cech faktycznie zmienia predykcję.
Methods assessing whether explanations (e.g. saliency maps) depend on the model and data, and whether removing highlighted features actually changes predictions.
Testy, które sprawdzają, czy wyjaśnienie decyzji modelu naprawdę mówi coś o modelu, a nie tylko ładnie wygląda.
Tests that check whether an explanation of a model's decision really says something about the model, not just looks convincing.
Wyjaśnienie może wyglądać przekonująco i wskazywać sensowne miejsca, a mimo to nie mieć związku z tym, czego model się nauczył.
An explanation can look convincing and point at sensible places, yet have nothing to do with what the model learned.
Jak test kontrolny w laboratorium: psuje się model celowo i patrzy, czy wyjaśnienie się zmieni; jeśli nie, nie można mu ufać.
Like a lab control test: you deliberately break the model and see whether the explanation changes; if not, it cannot be trusted.
Podświetlenie na zdjęciu kota wygląda tak samo dla wytrenowanego modelu i dla modelu z losowymi wagami, więc pokazuje tylko krawędzie.
The highlight on a cat photo looks the same for the trained model and a randomly weighted one, so it only shows edges.