# Niskorzędowe rzutowanie gradientu

EN: **Low-rank gradient projection** · id `galore` · aliases: gradient low-rank projection, low-rank gradient projection, niskorzędowe rzutowanie gradientu

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › [Oszczędzanie pamięci podczas treningu](https://aiatlasgraph.com/t/memefficienttraining.md) › Niskorzędowe rzutowanie gradientu

## Description

- PL: Trening wszystkich wag, w którym gradienty i stany optymalizatora przechowuje się w niskowymiarowej projekcji.
- EN: Full-parameter training in which gradients and optimiser states are kept in a low-dimensional projection.

## In one sentence

- PL: Sposób trenowania całego modelu przy mniejszym zużyciu pamięci, przez zapisywanie kierunków zmian w uproszczonej, skompresowanej postaci.
- EN: A way to train a whole model with less memory by storing the directions of change in a simplified, compressed form.

## Problem it solves

- PL: Oszczędne dostrajanie zmienia tylko mały fragment modelu, a pełny trening wszystkich wag nie mieści się w pamięci domowej karty.
- EN: Lean fine-tuning changes only a small part of the model, while full training of all weights won't fit on a home graphics card.

## What it does

- PL: Jak streszczanie długiej korespondencji do kilku najważniejszych wątków: tracisz szczegóły, ale wiesz, dokąd zmierza sprawa.
- EN: Like summarising long correspondence into its few main threads: you lose details but still know where things are heading.

## Everyday example

- PL: Mały zespół badawczy trenuje od zera niewielki model językowy na jednej karcie graficznej do gier.
- EN: A small research team trains a modest language model from scratch on a single gaming graphics card.

## This concerns you if you…

- PL: chcesz pełnego treningu zamiast nakładek na model
- PL: masz jedną kartę graficzną z ograniczoną pamięcią
- EN: want full training rather than add-ons
- EN: have one graphics card with limited memory

## Keywords

GaLore · Q-GaLore · SVD · optimizer state compression · full-parameter training · 8-bit GaLore · LoRA comparison

## How it works

- PL: Gradient macierzy wag rzutuje się na podprzestrzeń wyznaczoną przez SVD gradientu, okresowo odświeżaną. Optymalizator (np. Adam) prowadzi stany w tej małej przestrzeni, a aktualizację rzutuje się z powrotem na pełne wagi, więc wszystkie parametry mogą się zmieniać.
- EN: Each weight matrix's gradient is projected onto a subspace from the gradient's SVD, refreshed periodically. The optimiser (e.g. Adam) keeps its states in this small space, and the update is projected back onto full weights, so every parameter can change.

## Limits

- PL: Obliczanie i okresowe odświeżanie projekcji dodaje narzut, a jej ranga i częstotliwość odświeżania są dodatkowymi hiperparametrami. Metoda oszczędza przede wszystkim pamięć stanów optymalizatora, nie aktywacji; raportowane korzyści pochodzą z konfiguracji zbadanych przez autorów.
- EN: Computing and periodically refreshing the projection adds overhead, while projection rank and refresh frequency are additional hyperparameters. The method primarily saves optimiser-state memory rather than activations; reported benefits come from the configurations tested by the authors.

## Key terms

- PL: **projekcja niskiego rzędu**: Przedstawienie dużej macierzy za pomocą kilku najważniejszych kierunków.
- PL: **SVD**: Rozkład macierzy wskazujący jej najważniejsze kierunki.
- EN: **low-rank projection**: Representing a large matrix by a few most important directions.
- EN: **SVD**: A matrix decomposition revealing its most important directions.

## Know first

- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)
- [Optymalizatory (SGD, Adam/AdamW, Muon) (Optimizers for neural network training)](https://aiatlasgraph.com/t/optimizers.md)

## Related topics

Untyped, symmetric "see also" links.

- [8-bitowe stany optymalizatora (8-bit optimizer states)](https://aiatlasgraph.com/t/eightbitoptim.md)

## Sources

- [GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection](<https://arxiv.org/abs/2403.03507>) `zhao-2024-galore` · by Jiawei Zhao, Zhenyu Zhang, Beidi Chen, Zhangyang Wang, Anima Anandkumar, Yuandong Tian

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/galore · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30