LoRA na bazie modelu zapisanego w 4 bitach. Obniża pamięć karty potrzebną do dostrajania.
LoRA on top of a base model stored in 4 bits. Cuts the GPU memory needed for fine-tuning.
To uczenie małych zmian modelu, którego baza jest przechowywana w oszczędnym, mniej dokładnym zapisie.
This trains small model updates while storing the base model in a compact, lower-precision format.
Nawet dostrajanie małego adaptera wymaga zbyt dużo pamięci, jeśli baza modelu zajmuje większość urządzenia.
Even training a small adapter needs too much memory when the base model occupies most of the device.
Skompresowana baza pozostaje stała, a sygnał treningu przechodzi przez nią do adapterów uczonych z większą dokładnością.
The compressed base remains fixed while training signals pass through it to adapters learned at higher precision.
Na karcie z ograniczoną pamięcią dostrajasz adapter opisów produktów, korzystając z oszczędnie zapisanej bazy modelu.
On a memory-limited card, you train a product-description adapter using a compactly stored base model.