# QLoRA

EN: **Quantized low-rank adaptation (QLoRA)** · id `qlora`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Efektywne dostrajanie](https://aiatlasgraph.com/t/peft.md) › [LoRA](https://aiatlasgraph.com/t/lora.md) › QLoRA

## Description

- PL: LoRA na bazie modelu zapisanego w 4 bitach. Obniża pamięć karty potrzebną do dostrajania.
- EN: LoRA on top of a base model stored in 4 bits. Cuts the GPU memory needed for fine-tuning.

## In one sentence

- PL: To uczenie małych zmian modelu, którego baza jest przechowywana w oszczędnym, mniej dokładnym zapisie.
- EN: This trains small model updates while storing the base model in a compact, lower-precision format.

## Problem it solves

- PL: Nawet dostrajanie małego adaptera wymaga zbyt dużo pamięci, jeśli baza modelu zajmuje większość urządzenia.
- EN: Even training a small adapter needs too much memory when the base model occupies most of the device.

## What it does

- PL: Skompresowana baza pozostaje stała, a sygnał treningu przechodzi przez nią do adapterów uczonych z większą dokładnością.
- EN: The compressed base remains fixed while training signals pass through it to adapters learned at higher precision.

## Everyday example

- PL: Na karcie z ograniczoną pamięcią dostrajasz adapter opisów produktów, korzystając z oszczędnie zapisanej bazy modelu.
- EN: On a memory-limited card, you train a product-description adapter using a compactly stored base model.

## This concerns you if you…

- PL: baza modelu zajmuje zbyt dużo pamięci
- PL: chcesz połączyć kompresję z uczeniem adapterów
- EN: find the base model takes too much memory
- EN: want compression combined with adapter training

## Keywords

NF4 · double quantization · paged optimizers · bitsandbytes · 4-bit base weights · lora_alpha · dequantization

## How it works

- PL: Zamrożone wagi bazowe przechowuje się w formacie skwantowanym i odtwarza na potrzeby obliczeń. Gradient przechodzi przez model do uczonych czynników LoRA, ograniczając pamięć wag bez aktualizowania ich skwantowanej reprezentacji.
- EN: Frozen base weights are stored in a quantised format and reconstructed for computation. Gradients flow through the model to trainable LoRA factors, reducing weight memory without updating the quantised representation.

## Limits

- PL: Kwantyzacja i odtwarzanie wprowadzają błędy oraz narzut obliczeń. Aktywacje i stan adaptera nadal zajmują pamięć; efekty zależą od obsługiwanych formatów, kerneli i konfiguracji treningu.
- EN: Quantisation and reconstruction introduce errors and computation overhead. Activations and adapter state still consume memory; outcomes depend on supported formats, kernels and training configurations.

## Key terms

- PL: **zamrożona baza skwantowana**: Parametry modelu zapisane oszczędnie i niezmieniane podczas dostrajania.
- PL: **dekwantyzacja**: Odtworzenie przybliżonych wartości wag do obliczeń w wyższej precyzji.
- EN: **frozen quantised base**: Compactly stored model parameters left unchanged during fine-tuning.
- EN: **dequantisation**: Reconstructing approximate weight values for higher-precision computation.

## Know first

- [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md)
- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)

## Examples

- PL: baza 4-bitowa · adaptery LoRA · rank i alpha
- EN: 4-bit base · LoRA adapters · rank and alpha

## Related topics

Untyped, symmetric "see also" links.

- [8-bitowe stany optymalizatora (8-bit optimizer states)](https://aiatlasgraph.com/t/eightbitoptim.md)
- [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md)

## Sources

- [LLM Course (Maxime Labonne)](<https://github.com/mlabonne/llm-course>) `mlabonne-llm-course` · by Maxime Labonne

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/qlora · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30