# Dostrajanie wyłącznie wektorów biasu

EN: **Bias-only fine-tuning** · id `bitfit` · aliases: BitFit, bias-only fine-tuning, dostrajanie biasów

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Efektywne dostrajanie](https://aiatlasgraph.com/t/peft.md) › Dostrajanie wyłącznie wektorów biasu

## Description

- PL: Dostrajanie modelu przez aktualizowanie wyłącznie biasów lub ich podzbioru, bez zmiany pozostałych wag.
- EN: Fine-tuning a model by updating only its bias terms or a subset of them while leaving all other weights frozen.

## In one sentence

- PL: Dostrajanie, w którym zmienia się tylko mały zestaw wartości przesuwających wyniki neuronów.
- EN: Fine-tuning that changes only a small set of values shifting neuron outputs.

## Problem it solves

- PL: Pełne przeuczenie modelu na małym zbiorze danych jest kosztowne i łatwo psuje to, co model już umiał.
- EN: Fully retraining a model on a small dataset is costly and easily breaks what the model already knew.

## What it does

- PL: Jak przestrojenie kilku strun w gitarze zamiast budowania nowego instrumentu: większość zostaje, zmieniasz tylko to, co trzeba.
- EN: Like retuning a few guitar strings instead of building a new instrument: most stays as is, you change only what's needed.

## Everyday example

- PL: Uczysz gotowy model rozpoznawać kategorie zgłoszeń, aktualizując jedynie jego wektory biasu.
- EN: You teach a ready model to classify support tickets while updating only its bias vectors.

## This concerns you if you…

- PL: masz mało przykładów do nauki
- PL: chcesz taniego punktu odniesienia przed bardziej złożonymi metodami
- EN: have few training examples
- EN: want a cheap baseline before more complex methods

## Keywords

BitFit · bias-only fine-tuning · sparse fine-tuning · PEFT · BERT

## How it works

- PL: Gradienty mogą być obliczane przez całą sieć, ale optymalizator aktualizuje wyłącznie wybrane wektory biasu; wszystkie macierze wag pozostają zamrożone. Nie dodaje się nowych modułów, więc architektura inferencji się nie zmienia.
- EN: Gradients may be computed through the full network, but the optimiser updates only selected bias vectors while all weight matrices stay frozen. No new modules are added, so the inference architecture is unchanged.

## Limits

- PL: Wyniki źródłowe dotyczą głównie modeli BERT i małych lub średnich zbiorów. Metoda ma niewielką pojemność, a w architekturach bez biasów w warstwach liniowych jej zakres jest ograniczony.
- EN: The primary evidence mainly covers BERT models and small-to-medium datasets. The method has limited capacity, and architectures without biases in linear layers provide fewer parameters to adapt.

## Key terms

- PL: **bias**: Stała dodawana w neuronie, przesuwająca jego wynik niezależnie od wejścia.
- PL: **zamrożona waga**: Parametr, którego wartość nie zmienia się podczas dostrajania.
- EN: **bias**: A constant added in a neuron, shifting its output independently of the input.
- EN: **frozen weight**: A parameter whose value does not change during fine-tuning.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)

## Sources

- [BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models](<https://arxiv.org/abs/2106.10199>) `benzaken-2021-bitfit` · by Elad Ben-Zaken, Shauli Ravfogel, Yoav Goldberg

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/bitfit · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30