# Podwójne zejście EN: **Double descent** · id `doubledescent` · aliases: double descent, deep double descent, podwójne zejście Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Fundamenty i rozumowanie](https://aiatlasgraph.com/t/foundations.md) › [Teoria uczenia statystycznego](https://aiatlasgraph.com/t/learningtheory.md) › Podwójne zejście ## Description - PL: Niemonotoniczna krzywa ryzyka testowego: klasyczny kształt U, szczyt przy progu interpolacji i ponowny spadek w reżimie przeparametryzowanym. - EN: Non-monotonic test-risk curve: classical U shape, a peak at the interpolation threshold and a second descent in the overparameterised regime. ## In one sentence - PL: Zaskakujące zjawisko: bardzo duże modele, które zapamiętują cały zbiór treningowy, mogą mimo to dobrze działać na nowych danych. - EN: A surprising effect: very large models that memorise the whole training set can still work well on new data. ## Problem it solves - PL: Podręcznikowa reguła mówi, że zbyt duży model się przeucza, a tymczasem coraz większe sieci działają coraz lepiej. - EN: Textbook wisdom says an oversized model overfits, yet ever larger networks keep working better. ## What it does - PL: Wykres błędu spada, rośnie przy rozmiarze modelu równym liczbie przykładów, a potem znów spada, gdy model rośnie dalej. - EN: The error curve falls, peaks when model size matches the number of examples, then falls again as the model keeps growing. ## Everyday example - PL: Zespół zwiększa sieć i widzi chwilowe pogorszenie wyników; zamiast się wycofać, rośnie dalej i wyniki znów się poprawiają. - EN: A team enlarges a network and sees results briefly get worse; instead of backing off, they grow further and results improve again. ## This concerns you if you… - PL: zastanawiasz się, czemu ogromne modele nie przeuczają się - PL: dobierasz rozmiar modelu do ilości danych - EN: wonder why huge models do not overfit - EN: match model size to the amount of data ## Keywords interpolation threshold · epoch-wise double descent · effective model complexity · overparameterization · implicit regularization · model-wise double descent · sample-wise double descent ## How it works - PL: Próg interpolacji to punkt, w którym procedura treningu po raz pierwszy potrafi osiągnąć niemal zerowy błąd treningowy; nie musi odpowiadać prostej równości liczby parametrów i próbek. W jego pobliżu rozwiązanie może być szczególnie wrażliwe na szum, natomiast dalszy wzrost efektywnej złożoności bywa związany z ponownym spadkiem błędu testowego. Zjawisko obserwowano względem rozmiaru modelu i liczby epok, a dla liczby próbek tylko w określonych reżimach. - EN: The interpolation threshold is where a training procedure first attains nearly zero training error; it need not equal a simple parameter-to-sample count. Near that point the fitted solution can be especially sensitive to noise, while further increases in effective complexity may coincide with a second fall in test error. The effect has been observed over model size and training epochs, and over sample count only in specific regimes. ## Limits - PL: Kształt krzywej zależy od danych, szumu, modelu, optymalizacji i regularyzacji; podwójne zejście nie musi wystąpić ani nie uzasadnia automatycznie zwiększania modelu. Pełne wyjaśnienie zjawiska w głębokich sieciach pozostaje otwarte. - EN: The curve depends on data, noise, model, optimisation and regularisation; double descent need not appear and does not by itself justify making a model larger. A complete explanation for deep networks remains open. ## Key terms - PL: **próg interpolacji**: Rozmiar modelu, przy którym ledwo udaje mu się dopasować wszystkie przykłady. - PL: **przeparametryzowanie**: Model ma więcej parametrów niż przykładów treningowych. - PL: **efektywna złożoność modelu**: Największa liczba próbek, którą procedura treningu potrafi niemal idealnie dopasować. - EN: **interpolation threshold**: Model size at which it barely fits all examples. - EN: **overparameterisation**: A model has more parameters than training examples. - EN: **effective model complexity**: Largest sample count a training procedure can fit almost perfectly. ## Know first - [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md) - [Podstawy sieci neuronowych (Neural network fundamentals)](https://aiatlasgraph.com/t/neuralbasics.md) ## Related topics Untyped, symmetric "see also" links. - [Prawa skalowania i budżet obliczeń (Scaling laws and compute-optimal training)](https://aiatlasgraph.com/t/scalinglaws.md) ## Sources - [Belkin et al. · Reconciling modern machine learning practice and the bias-variance trade-off]() `belkin-doubledescent-2019` · by Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal - [Nakkiran et al. · Deep Double Descent: Where Bigger Models and More Data Hurt]() `nakkiran-deepdd-2019` · by Preetum Nakkiran, Gal Kaplun, Yamini Bansal, Tristan Yang, Boaz Barak, Ilya Sutskever --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/doubledescent · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30