Dostrajanie wyłącznie wektorów biasu

Bias-only fine-tuning · id bitfit · aliases: BitFit, bias-only fine-tuning, dostrajanie biasów

Dostrajanie modelu przez aktualizowanie wyłącznie biasów lub ich podzbioru, bez zmiany pozostałych wag.

Fine-tuning a model by updating only its bias terms or a subset of them while leaving all other weights frozen.

In one sentence

Dostrajanie, w którym zmienia się tylko mały zestaw wartości przesuwających wyniki neuronów.

Fine-tuning that changes only a small set of values shifting neuron outputs.

Problem it solves

Pełne przeuczenie modelu na małym zbiorze danych jest kosztowne i łatwo psuje to, co model już umiał.

Fully retraining a model on a small dataset is costly and easily breaks what the model already knew.

What it does

Jak przestrojenie kilku strun w gitarze zamiast budowania nowego instrumentu: większość zostaje, zmieniasz tylko to, co trzeba.

Like retuning a few guitar strings instead of building a new instrument: most stays as is, you change only what's needed.

Everyday example

Uczysz gotowy model rozpoznawać kategorie zgłoszeń, aktualizując jedynie jego wektory biasu.

You teach a ready model to classify support tickets while updating only its bias vectors.

This concerns you if you…

Sources