Wykorzystanie wag mechanizmu uwagi do wyjaśniania predykcji i badania sprawdzające, czy wagi te są wierne rzeczywistemu wpływowi wejść.
Using attention weights to explain predictions, and studies testing whether those weights faithfully reflect the inputs' actual influence.
Pokazywanie, na które słowa model „patrzył”, oraz spory o to, czy taki obrazek naprawdę tłumaczy jego decyzję.
Showing which words a model “looked at”, and the debate over whether such a picture really explains its decision.
Kolorowe podświetlenie słów wygląda jak wyjaśnienie, więc łatwo mu zaufać, nawet gdy model decydował z innych powodów.
Colour-highlighted words look like an explanation, so they are easy to trust even when the model decided for other reasons.
Uczy ostrożności: to, gdzie ktoś patrzył, nie zawsze mówi, dlaczego tak zdecydował, więc podświetlenie trzeba sprawdzić innymi testami.
It teaches caution: where someone looked does not always say why they decided, so highlights need checking with other tests.
Narzędzie do analizy opinii klientów podświetla słowo „dostawa”, ale po jego usunięciu ocena opinii się nie zmienia.
A customer-review tool highlights the word “delivery”, yet removing it does not change the review's score.