# Warianty LoRA (DoRA, LoRA+, AdaLoRA)

EN: **LoRA variants** · id `loravariants` · aliases: DoRA, LoRA+, AdaLoRA, VeRA, LoRA variants

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Efektywne dostrajanie](https://aiatlasgraph.com/t/peft.md) › [LoRA](https://aiatlasgraph.com/t/lora.md) › Warianty LoRA (DoRA, LoRA+, AdaLoRA)

## Description

- PL: Ulepszenia podstawowej LoRA: rozdzielenie wielkości i kierunku wag, różne kroki uczenia dla dwóch macierzy adaptera, adaptacyjny dobór rzędu. Mają zbliżyć wyniki do pełnego dostrajania.
- EN: Refinements of basic LoRA: separating weight magnitude and direction, different learning rates for the two adapter matrices, adaptive rank allocation. They aim to close the gap to full fine-tuning.

## In one sentence

- PL: To odmiany małych adapterów zmieniające sposób zapisu lub uczenia poprawek modelu.
- EN: These small-adapter variants change how model updates are represented or trained.

## Problem it solves

- PL: Podstawowy adapter oszczędza zasoby, ale nie zawsze daje potrzebną jakość lub tempo uczenia.
- EN: A basic adapter saves resources but does not always provide the needed quality or learning speed.

## What it does

- PL: Metody rozdzielają kierunek i wielkość zmian, dobierają różne kroki uczenia albo dostosowują rozmiar zapisu do ważności poszczególnych części.
- EN: Methods separate update direction and magnitude, choose different learning rates or adapt representation size to the importance of individual components.

## Everyday example

- PL: Porównujesz warianty adaptera na tych samych opisach produktów, mierząc jakość odpowiedzi i czas treningu.
- EN: You compare adapter variants on the same product descriptions, measuring response quality and training time.

## This concerns you if you…

- PL: podstawowy adapter nie daje oczekiwanych wyników
- PL: porównujesz różne sposoby oszczędnego dostrajania
- EN: find a basic adapter underperforms
- EN: compare different efficient adaptation methods

## Keywords

DoRA · LoRA+ · AdaLoRA · rsLoRA · PiSSA · VeRA

## How it works

- PL: Warianty zmieniają parametryzację lub optymalizację aktualizacji niskiego rzędu. DoRA rozdziela wielkość i kierunek wag, LoRA+ dobiera różne kroki dla czynników, a AdaLoRA przydziela budżet rzędu między macierzami podczas treningu.
- EN: Variants change low-rank update parameterisation or optimisation. DoRA separates weight magnitude and direction, LoRA+ uses different learning rates for factors, and AdaLoRA allocates rank budgets across matrices during training.

## Limits

- PL: Dodatkowe mechanizmy zwiększają liczbę ustawień oraz wymagania implementacji. Korzyść zależy od zadania i budżetu; zgodność zapisanych adapterów oraz możliwość scalania różnią się między wariantami.
- EN: Additional mechanisms increase settings and implementation requirements. Benefits depend on tasks and budgets; saved-adapter compatibility and merge options vary across variants.

## Key terms

- PL: **dekompozycja wielkości i kierunku**: Oddzielne sterowanie skalą wektora wagi i jego orientacją.
- PL: **adaptacyjny rząd**: Zmiana liczby kierunków aktualizacji przypisanych poszczególnym macierzom.
- EN: **magnitude-direction decomposition**: Separate control of a weight vector's scale and orientation.
- EN: **adaptive rank**: Changing the number of update directions assigned to individual matrices.

## Know first

- [Optymalizatory (SGD, Adam/AdamW, Muon) (Optimizers for neural network training)](https://aiatlasgraph.com/t/optimizers.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: DoRA · LoRA+ · AdaLoRA · VeRA

## Sources

- [Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey](<https://arxiv.org/abs/2403.14608>) `peft-survey-2024` · by Zeyu Han, Chao Gao, Jinyang Liu i in.
- [Hugging Face PEFT — library documentation](<https://huggingface.co/docs/peft/index>) `hf-peft-docs` · by Hugging Face
- [DoRA: Weight-Decomposed Low-Rank Adaptation](<https://arxiv.org/abs/2402.09353>) `dora-2024` · by Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin i in. (NVIDIA, HKUST)
- [LoRA+: Efficient Low Rank Adaptation of Large Models](<https://arxiv.org/abs/2402.12354>) `loraplus-2024` · by Soufiane Hayou, Nikhil Ghosh, Bin Yu

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/loravariants · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30