Niemonotoniczna krzywa ryzyka testowego: klasyczny kształt U, szczyt przy progu interpolacji i ponowny spadek w reżimie przeparametryzowanym.
Non-monotonic test-risk curve: classical U shape, a peak at the interpolation threshold and a second descent in the overparameterised regime.
Zaskakujące zjawisko: bardzo duże modele, które zapamiętują cały zbiór treningowy, mogą mimo to dobrze działać na nowych danych.
A surprising effect: very large models that memorise the whole training set can still work well on new data.
Podręcznikowa reguła mówi, że zbyt duży model się przeucza, a tymczasem coraz większe sieci działają coraz lepiej.
Textbook wisdom says an oversized model overfits, yet ever larger networks keep working better.
Wykres błędu spada, rośnie przy rozmiarze modelu równym liczbie przykładów, a potem znów spada, gdy model rośnie dalej.
The error curve falls, peaks when model size matches the number of examples, then falls again as the model keeps growing.
Zespół zwiększa sieć i widzi chwilowe pogorszenie wyników; zamiast się wycofać, rośnie dalej i wyniki znów się poprawiają.
A team enlarges a network and sees results briefly get worse; instead of backing off, they grow further and results improve again.