Efektywne dostrajanie

Parameter-efficient fine-tuning · id peft

Uczenie wybranych parametrów lub małych adapterów.

Training selected parameters or small adapters.

In one sentence

To dostrajanie modelu przez uczenie tylko niewielkiej części jego ustawień lub dodatkowych elementów.

This adapts a model by training only a small subset of parameters or additional components.

Problem it solves

Zmiana wszystkich ustawień dużego modelu wymaga więcej pamięci i zasobów, niż masz do dyspozycji.

Updating every parameter of a large model requires more memory and resources than you have available.

What it does

Większość modelu pozostaje stała, a małe wybrane części uczą się zadania, zmniejszając ilość przechowywanych poprawek i pracy treningowej.

Most of the model stays fixed while small selected components learn the task, reducing stored updates and training work.

Everyday example

Dostosowujesz duży model do krótkich opisów produktów, zapisując niewielki zestaw zmian zamiast pełnej nowej kopii.

You adapt a large model for brief product descriptions, storing a small update rather than a full new copy.

This concerns you if you…

masz ograniczoną pamięć do dostrajania
potrzebujesz wielu małych wariantów modelu
have limited memory for adaptation
need many small model variants

Examples

PEFT · LoRA · QLoRA

Subtopics

Adaptery (małe warstwy wstawiane do modelu) (Adapter modules): Small trainable layers are inserted into a frozen model and only they are trained. One base model can serve many tasks with separate, swappable adapters.
Dostrajanie przez interwencje w reprezentacje (Fine-tuning through representation interventions): Instead of changing weights, it learns small interventions on hidden representations at chosen layers and positions of a frozen model.
Dostrajanie wyłącznie wektorów biasu (Bias-only fine-tuning): Fine-tuning a model by updating only its bias terms or a subset of them while leaving all other weights frozen.
LoRA (Low-rank adaptation): Fine-tuning with low-rank adapters. Used for language and image models alike.
- QLoRA (Quantized low-rank adaptation (QLoRA)): LoRA on top of a base model stored in 4 bits. Cuts the GPU memory needed for fine-tuning.
- Warianty LoRA (DoRA, LoRA+, AdaLoRA) (LoRA variants): Refinements of basic LoRA: separating weight magnitude and direction, different learning rates for the two adapter matrices, adaptive rank allocation. They aim to close the gap to full fine-tuning.
Miękkie prompty (prompt tuning, prefix tuning) (Soft prompts: prompt and prefix tuning): The model stays frozen while a small set of continuous vectors is learned. Prompt tuning adds them as virtual input tokens, whereas prefix tuning supplies learned prefixes to successive attention layers.
Skalowanie aktywacji wyuczonymi wektorami (Learned-vector activation rescaling): A PEFT method that multiplies attention keys, values and feed-forward activations by learned vectors.

Sources

Hugging Face · LoRA (PEFT) · reference: Adaptery LoRA, także zastosowania do modeli obrazu.