# Skalowanie aktywacji wyuczonymi wektorami EN: **Learned-vector activation rescaling** · id `ia3` · aliases: activation rescaling, learned activation scaling, skalowanie aktywacji Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Efektywne dostrajanie](https://aiatlasgraph.com/t/peft.md) › Skalowanie aktywacji wyuczonymi wektorami ## Description - PL: Metoda PEFT, która mnoży klucze, wartości i aktywacje warstwy feed-forward przez wyuczone wektory. - EN: A PEFT method that multiplies attention keys, values and feed-forward activations by learned vectors. ## In one sentence - PL: Bardzo lekki sposób dostrajania: model uczy się tylko, które swoje wewnętrzne sygnały wzmocnić, a które wyciszyć. - EN: A very light form of fine-tuning: the model only learns which of its internal signals to boost and which to dampen. ## Problem it solves - PL: Nawet małe nakładki na model to sporo parametrów, gdy trzeba trzymać setki wersji dla różnych klientów lub zadań. - EN: Even small add-ons are a lot of parameters when you must keep hundreds of model versions for different clients or tasks. ## What it does - PL: Jak mikser dźwięku: nie wymieniasz instrumentów, tylko podkręcasz albo ściszasz suwaki poszczególnych ścieżek. - EN: Like a mixing desk: you don't swap instruments, you just push faders up or down on each track. ## Everyday example - PL: Firma ma osobną, malutką nakładkę modelu dla każdego klienta i przełącza je w locie przy każdym zapytaniu. - EN: A company keeps a tiny separate add-on for each client and swaps them on the fly with every request. ## This concerns you if you… - PL: masz kilkadziesiąt przykładów na zadanie - PL: potrzebujesz wielu bardzo małych wariantów jednego modelu - EN: have a few dozen examples per task - EN: need many very small variants of one model ## Keywords IA3 · (IA)³ · T-Few · PEFT library · few-shot fine-tuning · T0 ## How it works - PL: Do bloków transformera dodaje się trzy wektory, które elementowo przeskalowują klucze i wartości uwagi oraz pośrednie aktywacje MLP. Wektory inicjalizuje się jedynkami, więc start odpowiada modelowi bazowemu; po treningu można je wmnożyć w wagi. - EN: Three vectors are added to transformer blocks, rescaling attention keys and values and intermediate MLP activations element-wise. They are initialised to ones, so training starts from the base model; afterwards they can be folded into the weights. ## Limits - PL: Mała pojemność: przy większych zbiorach i bardziej odmiennych zadaniach zwykle przegrywa z LoRA. Oryginalne wyniki dotyczyły modeli enkoder–dekoder i niewielu przykładów; wsparcie w narzędziach jest skromniejsze niż dla LoRA. - EN: Small capacity: with larger datasets and more distant tasks it usually loses to LoRA. Original results concerned encoder–decoder models and few-shot data; tooling support is thinner than for LoRA. ## Key terms - PL: **skalowanie elementowe**: Mnożenie każdej składowej wektora przez osobny, wyuczony współczynnik. - PL: **few-shot**: Ustawienie z bardzo małą liczbą przykładów treningowych na zadanie. - EN: **element-wise scaling**: Multiplying each vector component by its own learned factor. - EN: **few-shot**: A setting with very few training examples per task. ## Know first - [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md) ## Sources - [Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning]() `liu-2022-ia3` · by Haokun Liu, Derek Tam, Mohammed Muqeeth, Jay Mohta, Tenghao Huang, Mohit Bansal, Colin Raffel --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/ia3 · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30