Techniki zmniejszające pamięć zajętą przez aktywacje, gradienty i stany optymalizatora, by trenować większe modele na tym samym sprzęcie.
Techniques that shrink memory used by activations, gradients and optimiser states, so larger models train on the same hardware.
Zestaw sposobów, dzięki którym większy model mieści się w pamięci karty graficznej podczas nauki.
A set of methods that let a bigger model fit into graphics-card memory while it is being trained.
Trening zużywa wielokrotnie więcej pamięci niż samo uruchamianie modelu i szybko kończy się błędem braku miejsca.
Training uses many times more memory than running a model, and quickly stops with an out-of-memory error.
Jak przeprowadzka do małego mieszkania: część rzeczy składasz ciaśniej, część wynosisz do piwnicy, a część kupujesz dopiero, gdy trzeba.
Like moving into a small flat: some things you fold tighter, some go to the basement, some you only buy when needed.
Student dostraja średniej wielkości model na jednej karcie graficznej w domowym komputerze zamiast wynajmować serwer.
A student fine-tunes a mid-sized model on a single graphics card in a home PC instead of renting a server.