Gwałtowny wzrost dokładności testowej długo po osiągnięciu niemal zerowego błędu treningowego, zaobserwowany na małych zbiorach algorytmicznych.
A sharp rise in test accuracy long after near-zero training error, first observed on small algorithmic datasets.
Zjawisko, w którym sieć najpierw tylko zapamiętuje przykłady, a długo potem nagle „łapie” ogólną regułę.
A phenomenon where a network first only memorises examples and, long afterwards, suddenly 'gets' the general rule.
Trening często przerywa się, gdy model zaczyna wkuwać, a wtedy można przegapić moment, w którym zrozumiałby zadanie.
Training is often stopped once a model starts cramming, which can miss the point where it would have understood the task.
Pokazuje, że między wkuwaniem a zrozumieniem może być długa cisza, jak u ucznia, któremu po tygodniach ćwiczeń nagle zaskakuje.
Shows there can be a long silence between cramming and understanding, like a student for whom it suddenly clicks after weeks of drills.
Sieć ucząca się dodawania na zegarze najpierw zna tylko pokazane wyniki, a po długim dalszym treningu liczy poprawnie każdy przykład.
A network learning clock arithmetic first knows only the shown answers, then after long extra training gets every case right.