# Grokking: opóźnione uogólnienie

EN: **Grokking: delayed generalisation after overfitting** · id `grokking` · aliases: grokking, delayed generalization, opóźnione uogólnienie, memorization to generalization

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Fundamenty i rozumowanie](https://aiatlasgraph.com/t/foundations.md) › [Teoria uczenia statystycznego](https://aiatlasgraph.com/t/learningtheory.md) › Grokking: opóźnione uogólnienie

## Description

- PL: Gwałtowny wzrost dokładności testowej długo po osiągnięciu niemal zerowego błędu treningowego, zaobserwowany na małych zbiorach algorytmicznych.
- EN: A sharp rise in test accuracy long after near-zero training error, first observed on small algorithmic datasets.

## In one sentence

- PL: Zjawisko, w którym sieć najpierw tylko zapamiętuje przykłady, a długo potem nagle „łapie” ogólną regułę.
- EN: A phenomenon where a network first only memorises examples and, long afterwards, suddenly 'gets' the general rule.

## Problem it solves

- PL: Trening często przerywa się, gdy model zaczyna wkuwać, a wtedy można przegapić moment, w którym zrozumiałby zadanie.
- EN: Training is often stopped once a model starts cramming, which can miss the point where it would have understood the task.

## What it does

- PL: Pokazuje, że między wkuwaniem a zrozumieniem może być długa cisza, jak u ucznia, któremu po tygodniach ćwiczeń nagle zaskakuje.
- EN: Shows there can be a long silence between cramming and understanding, like a student for whom it suddenly clicks after weeks of drills.

## Everyday example

- PL: Sieć ucząca się dodawania na zegarze najpierw zna tylko pokazane wyniki, a po długim dalszym treningu liczy poprawnie każdy przykład.
- EN: A network learning clock arithmetic first knows only the shown answers, then after long extra training gets every case right.

## This concerns you if you…

- PL: trenujesz modele i decydujesz, kiedy przerwać trening
- PL: ciekawi cię różnica między zapamiętaniem a zrozumieniem w AI
- EN: train models and decide when to stop training
- EN: are curious about memorising versus understanding in AI

## Keywords

modular arithmetic · memorization vs generalization · delayed generalization · phase transition · mechanistic interpretability · Fourier features

## How it works

- PL: Na małych zadaniach algorytmicznych sieć może szybko zapamiętać zbiór treningowy, podczas gdy dokładność testowa pozostaje bliska losowej, a następnie po długiej dalszej optymalizacji gwałtownie uogólnić. Analiza małych transformatorów uczonych dodawania modularnego rozdziela ten proces na zapamiętywanie, stopniowe tworzenie obwodu opartego na cechach Fouriera i usuwanie składników zapamiętujących.
- EN: On small algorithmic tasks a network may quickly memorise the training set while test accuracy stays near chance, then generalise abruptly after much more optimisation. An analysis of small transformers trained on modular addition separates this process into memorisation, gradual formation of a Fourier-feature circuit, and removal of memorising components.

## Limits

- PL: Zjawisko najwyraźniej widać na małych, syntetycznych zadaniach; jego znaczenie dla dużych modeli językowych jest przedmiotem badań. Wymaga długiego, kosztownego treningu i silnie zależy od hiperparametrów, więc nie jest praktyczną receptą treningową.
- EN: The effect is clearest on small, synthetic tasks; its relevance to large language models is still being studied. It needs long, costly training and depends strongly on hyperparameters, so it is not a practical training recipe.

## Key terms

- PL: **zapamiętywanie**: Model zna odpowiedzi na przykłady treningowe, ale nie regułę.
- PL: **zanik wag**: Kara za duże wagi, sprzyjająca prostszym rozwiązaniom.
- PL: **arytmetyka modularna**: Liczenie „na zegarze”, gdzie po przekroczeniu liczby wraca się do zera.
- EN: **memorisation**: The model knows answers to training examples but not the rule.
- EN: **weight decay**: A penalty on large weights that favours simpler solutions.
- EN: **modular arithmetic**: Clock-style counting that wraps back to zero past a limit.

## Know first

- [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md)
- [Regularyzacja sieci: dropout i weight decay (Neural network regularisation: dropout and weight decay)](https://aiatlasgraph.com/t/nnregularization.md)

## Related topics

Untyped, symmetric "see also" links.

- [Interpretowalność mechanistyczna (Mechanistic interpretability)](https://aiatlasgraph.com/t/mechinterp.md)

## Sources

- [Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](<https://arxiv.org/abs/2201.02177>) `power-grokking-2022` · by Alethea Power, Yuri Burda, Harri Edwards, Igor Babuschkin, Vedant Misra
- [Understanding deep learning requires rethinking generalization (ICLR 2017)](<https://arxiv.org/abs/1611.03530>) `zhang-rethinking-generalization-2017` · by Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals
- [Progress measures for grokking via mechanistic interpretability](<https://arxiv.org/abs/2301.05217>) `nanda-grokking-mechinterp-2023` · by Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith, Jacob Steinhardt

---

AI Atlas revision 125 (2026-11-01) · HTML: https://aiatlasgraph.com/t/grokking · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-01