Trening wszystkich wag, w którym gradienty i stany optymalizatora przechowuje się w niskowymiarowej projekcji.
Full-parameter training in which gradients and optimiser states are kept in a low-dimensional projection.
Sposób trenowania całego modelu przy mniejszym zużyciu pamięci, przez zapisywanie kierunków zmian w uproszczonej, skompresowanej postaci.
A way to train a whole model with less memory by storing the directions of change in a simplified, compressed form.
Oszczędne dostrajanie zmienia tylko mały fragment modelu, a pełny trening wszystkich wag nie mieści się w pamięci domowej karty.
Lean fine-tuning changes only a small part of the model, while full training of all weights won't fit on a home graphics card.
Jak streszczanie długiej korespondencji do kilku najważniejszych wątków: tracisz szczegóły, ale wiesz, dokąd zmierza sprawa.
Like summarising long correspondence into its few main threads: you lose details but still know where things are heading.
Mały zespół badawczy trenuje od zera niewielki model językowy na jednej karcie graficznej do gier.
A small research team trains a modest language model from scratch on a single gaming graphics card.