# Rzadkie autoenkodery (SAE) i słowniki cech

EN: **Sparse autoencoders and dictionary learning** · id `sae` · aliases: SAE, sparse autoencoders, dictionary learning, transcoders, monosemanticity, rzadkie autoenkodery

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Interpretowalność](https://aiatlasgraph.com/t/explainability.md) › [Interpretowalność mechanistyczna](https://aiatlasgraph.com/t/mechinterp.md) › Rzadkie autoenkodery (SAE) i słowniki cech

## Description

- PL: Rozkładanie aktywacji modelu na wiele rzadko aktywnych cech, z których część daje się powiązać ze zrozumiałymi pojęciami. Interpretowalność cech i użyteczność SAE w zadaniach praktycznych nie są gwarantowane.
- EN: Decomposing model activations into many sparsely active features, some of which can be associated with understandable concepts. Feature interpretability and practical downstream usefulness are not guaranteed.

## In one sentence

- PL: To narzędzia rozkładające mieszane sygnały modelu na składniki, z których tylko nieliczne są naraz aktywne.
- EN: These tools separate mixed model signals into components with only a few active at once.

## Problem it solves

- PL: Pojedynczy wewnętrzny sygnał może mieszać wiele znaczeń, więc trudno powiązać go z konkretnym pojęciem.
- EN: One internal signal can mix many meanings, making it difficult to connect with a specific concept.

## What it does

- PL: Uczy zestaw składników odtwarzających wewnętrzne liczby przy nielicznych aktywnych elementach; część składników można interpretować, ale nie jest to gwarantowane.
- EN: It learns components reconstructing internal numbers with few active elements; some components may be interpretable, but that is not guaranteed.

## Everyday example

- PL: Przy różnych opisach ogrodu szukasz powtarzalnego składnika związanego z roślinami i sprawdzasz, czy reaguje także na inne treści.
- EN: Across garden descriptions, you seek a recurring component associated with plants and check whether it also responds to other content.

## This concerns you if you…

- PL: chcesz rozdzielać mieszane sygnały wewnątrz modelu
- PL: potrzebujesz składników do dalszych eksperymentów interpretacyjnych
- EN: want to separate mixed signals inside a model
- EN: need components for further interpretation experiments

## Keywords

sparse coding · feature dictionaries · L1 sparsity · reconstruction loss · monosemantic features · TopK autoencoders

## How it works

- PL: Enkoder mapuje aktywacje na rzadki kod, a dekoder rekonstruuje z niego oryginalną reprezentację. Cel łączy błąd rekonstrukcji z ograniczeniem liczby aktywnych cech, ucząc obszerny słownik kierunków.
- EN: An encoder maps activations to a sparse code, and a decoder reconstructs the original representation. The objective combines reconstruction error with active-feature constraints to learn an extensive dictionary of directions.

## Limits

- PL: Cechy mogą być wieloznaczne, martwe albo podzielone między wiele jednostek. Dobór rzadkości zmienia rekonstrukcję i słownik; czytelna cecha nie gwarantuje użytecznego sterowania.
- EN: Features may be ambiguous, inactive or split across units. Sparsity choices change reconstruction and dictionaries; a readable feature does not guarantee useful control.

## Key terms

- PL: **rzadki kod**: Reprezentacja, w której dla przykładu aktywna jest mała część składowych.
- PL: **słownik cech**: Zestaw wyuczonych kierunków służących do rekonstrukcji aktywacji.
- EN: **sparse code**: A representation with only a small fraction of components active per example.
- EN: **feature dictionary**: Learned directions used to reconstruct activations.

## Know first

- [Podstawy sieci neuronowych (Neural network fundamentals)](https://aiatlasgraph.com/t/neuralbasics.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: rzadkie autoenkodery (SAE) · słowniki cech · automatyczne opisywanie cech · porównanie z sondą liniową
- EN: sparse autoencoders (SAEs) · feature dictionaries · automated feature descriptions · comparison with a linear probe

## Related topics

Untyped, symmetric "see also" links.

- [Autoenkodery (ściskanie i odtwarzanie danych) (Autoencoders)](https://aiatlasgraph.com/t/autoencoders.md)
- [Sondy klasyfikacyjne (probing) (Probing classifiers)](https://aiatlasgraph.com/t/probing.md)
- [Sterowanie aktywacjami (wektory sterujące) (Activation steering and representation engineering)](https://aiatlasgraph.com/t/activationsteering.md)

## Sources

- [Open Problems in Mechanistic Interpretability](<https://arxiv.org/abs/2501.16496>) `open-problems-mechinterp-2025` · by Lee Sharkey, Bilal Chughtai, Joshua Batson, Jack Lindsey, Jeff Wu i in. (29 autorów, m.in. Neel Nanda, Stella Biderman, David Bau, Mor Geva)
- [Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet](<https://transformer-circuits.pub/2024/scaling-monosemanticity/>) `anthropic-scaling-monosemanticity-2024` · by Adly Templeton i in. (Anthropic)
- [Negative Results for SAEs On Downstream Tasks and Deprioritising SAE Research](<https://www.lesswrong.com/posts/4uXCAJNuPKtKBsi28/negative-results-for-saes-on-downstream-tasks>) `gdm-sae-negative-2025` · by Lewis Smith, Senthooran Rajamanoharan, Arthur Conmy, Callum McDougall, Tom Lieberum, János Kramár, Rohin Shah, Neel Nanda (Google DeepMind)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/sae · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30