Przechowywanie statystyk optymalizatora (np. momentów Adama) w 8 bitach z kwantyzacją blokową zamiast w 32 bitach.
Storing optimiser statistics (e.g. Adam moments) in 8 bits with block-wise quantisation instead of 32 bits.
Sposób, by notatki optymalizatora o każdej wadze zajmowały kilka razy mniej miejsca, bez wyraźnego pogorszenia nauki.
A way to make the optimiser's notes about each weight take several times less space without noticeably hurting learning.
Popularny optymalizator trzyma dla każdej wagi dwie dodatkowe liczby, które zajmują więcej pamięci niż sam model.
A popular optimiser keeps two extra numbers per weight, taking more memory than the model itself.
Jak prowadzenie dziennika skrótami: zajmuje mniej kartek, a przy czytaniu wciąż wiadomo, co było zapisane.
Like keeping a diary in shorthand: it fills fewer pages, yet you can still read what was written.
Po jednej zmianie w konfiguracji dostrajanie modelu na laptopie z kartą graficzną zaczyna się mieścić w pamięci.
After one configuration change, fine-tuning a model on a laptop with a graphics card starts fitting in memory.