# Interpretowalność

EN: **Interpretability and explainability** · id `explainability`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Interpretowalność

## Description

- PL: Jak zrozumieć, dlaczego model podjął daną decyzję: od modeli przejrzystych z natury, przez wyjaśnienia dokładane z zewnątrz (SHAP, mapy istotności), po zaglądanie do wnętrza sieci.
- EN: How to understand why a model made a given decision: from models that are transparent by design, through explanations added from outside (SHAP, saliency maps), to looking inside the network.

## In one sentence

- PL: To badanie, które informacje i obliczenia wiążą się z odpowiedzią modelu oraz jak zmieniają jego zachowanie.
- EN: This investigates which information and computations relate to a model's answer and how they affect its behaviour.

## Problem it solves

- PL: Model podaje wynik, ale trudno ocenić, na czym się opiera i czy wykorzystuje właściwe informacje.
- EN: A model gives a result, but its basis and whether it uses appropriate information can be hard to assess.

## What it does

- PL: Odczytuje proste reguły, porównuje zmiany wejść lub bada wnętrze modelu, sprawdzając też ograniczenia i wierność uzyskanych wyjaśnień.
- EN: It reads simple rules, compares input changes or studies model internals, also checking the limits and faithfulness of resulting explanations.

## Everyday example

- PL: Model przewiduje opóźnienie dostawy; sprawdzasz wpływ trasy i wagi paczki oraz to, czy korzysta z nieprzydatnej przypadkowej cechy.
- EN: A model predicts delivery delays; you examine route and parcel weight effects and whether it relies on an irrelevant accidental feature.

## This concerns you if you…

- PL: chcesz zrozumieć podstawy wyniku modelu
- PL: musisz sprawdzać, jakie informacje wpływają na zachowanie
- EN: want to understand the basis of a model result
- EN: need to examine what information affects its behaviour

## Keywords

SHAP · LIME · partial dependence plots · counterfactual search · linear probes · Integrated Gradients · activation steering · sparse autoencoders · circuit analysis · surrogate models

## How it works

- PL: Interpretowalne modele ujawniają reguły obliczenia, a metody zewnętrzne badają predykcje przez perturbacje i lokalne aproksymacje. Analiza reprezentacji oraz interwencje wewnętrzne sprawdzają bardziej szczegółowe hipotezy o mechanizmie.
- EN: Interpretable models expose computation rules, while external methods study predictions through perturbations and local approximations. Representation analysis and internal interventions test more detailed mechanistic hypotheses.

## Limits

- PL: Wyjaśnienie może być czytelne, lecz niewierne lub niestabilne. Korelacje cech, dobór tła i zakres lokalnej aproksymacji ograniczają wnioski, szczególnie przy interpretacji przyczynowej.
- EN: An explanation may be readable yet unfaithful or unstable. Feature correlations, background selection and local approximation scope limit conclusions, especially causal interpretations.

## Key terms

- PL: **wyjaśnienie lokalne**: Opis zachowania modelu wokół konkretnego przykładu.
- PL: **wyjaśnienie globalne**: Opis wzorców zachowania modelu na zbiorze przykładów.
- EN: **local explanation**: A description of model behaviour around a particular example.
- EN: **global explanation**: A description of model behaviour patterns across examples.

## Know first

- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: modele przejrzyste · wyjaśnienia lokalne i globalne · sondy · interpretowalność mechanistyczna
- EN: transparent models · local and global explanations · probes · mechanistic interpretability

## Subtopics (8 direct, 11 in total)

- [Interpretowalność mechanistyczna (Mechanistic interpretability)](https://aiatlasgraph.com/t/mechinterp.md): Studying a model's internal components and computations and testing how they contribute to its behaviour.
  - [Obwody i grafy atrybucji (circuit tracing) (Circuits and attribution graphs)](https://aiatlasgraph.com/t/circuittracing.md): Building an approximate graph of features and connections that may mediate the computation behind a model answer. The graph requires intervention-based validation and does not guarantee a complete, faithful reconstruction of the mechanism.
  - [Podmiana aktywacji (activation patching) (Activation patching)](https://aiatlasgraph.com/t/activationpatching.md): An intervention experiment: activations of a chosen component are replaced with activations from another input and the output change is measured. This provides causal evidence whose interpretation depends on the experimental design and metric.
  - [Rzadkie autoenkodery (SAE) i słowniki cech (Sparse autoencoders and dictionary learning)](https://aiatlasgraph.com/t/sae.md): Decomposing model activations into many sparsely active features, some of which can be associated with understandable concepts. Feature interpretability and practical downstream usefulness are not guaranteed.
- [Mapy istotności dla sieci neuronowych (Saliency maps and gradient attribution)](https://aiatlasgraph.com/t/saliencymaps.md): Visualisations assigning importance to pixels or tokens for a network output using gradients or activations. High importance is not by itself evidence of causal influence.
- [Modele interpretowalne z natury (Inherently interpretable models)](https://aiatlasgraph.com/t/interpretablemodels.md): Models simple enough that their decision can be read directly — from weights, rules or a tree path — without extra explanation tools.
- [Ogólne zachowanie modelu: ważność cech i wykresy zależności (Global model explanations: feature importance and dependence plots)](https://aiatlasgraph.com/t/globalexplanations.md): A description of model behaviour across a dataset: which features matter most to predictions and how model output varies as a feature changes. Such plots do not by themselves establish causality.
- [Sondy klasyfikacyjne (probing) (Probing classifiers)](https://aiatlasgraph.com/t/probing.md): A classifier trained on a model's internal representations to test whether a property can be decoded from them. Strong probe performance alone does not prove that the model uses that information in its behaviour.
- [Sterowanie aktywacjami (wektory sterujące) (Activation steering and representation engineering)](https://aiatlasgraph.com/t/activationsteering.md): Finding directions or representations in activations associated with a concept and amplifying or suppressing them at run time to study or change model behaviour without retraining.
- [Wyjaśnianie pojedynczej decyzji (SHAP, LIME) (Local feature attribution (SHAP, LIME))](https://aiatlasgraph.com/t/featureattribution.md): Methods that explain an individual prediction by assigning contributions to input features. They may treat the model as a black box or exploit its structure.
- [Wyjaśnienia „co by było, gdyby” (kontrfaktyczne) (Counterfactual explanations)](https://aiatlasgraph.com/t/counterfactualexpl.md): The smallest change to the input that would flip the model's decision — e.g. what would have to change in an application for the loan to be approved.

## Related topics

Untyped, symmetric "see also" links.

- [Atrybucja i wycena danych treningowych (Training data attribution and valuation)](https://aiatlasgraph.com/t/datavaluation.md)
- [Kalibracja zaufania: cytaty, pewność i wyjaśnienia (Trust calibration)](https://aiatlasgraph.com/t/trustcalibration.md)
- [Przewidywanie wyroków (Legal judgment prediction)](https://aiatlasgraph.com/t/judgmentprediction.md)

## Sources

- [Full Stack Deep Learning (2022, archiwum)](<https://fullstackdeeplearning.com/course/2022/>) `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [Hugging Face · Agents Course](<https://huggingface.co/learn/agents-course/en/unit0/introduction>) `agents` · reference: Agenci, narzędzia, frameworki, agentic RAG i ewaluacja.
- [Stanford CS229 · Machine Learning (2018, archiwum)](<https://cs229.stanford.edu/syllabus-autumn2018.html>) `cs229` · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.
- [Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (3rd edition)](<https://christophm.github.io/interpretable-ml-book/>) `molnar-iml-book-3ed` · by Christoph Molnar

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/explainability · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30