# 8-bitowe stany optymalizatora

EN: **8-bit optimizer states** · id `eightbitoptim` · aliases: 8-bit optimizer states, 8-bitowe stany optymalizatora

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › [Oszczędzanie pamięci podczas treningu](https://aiatlasgraph.com/t/memefficienttraining.md) › 8-bitowe stany optymalizatora

## Description

- PL: Przechowywanie statystyk optymalizatora (np. momentów Adama) w 8 bitach z kwantyzacją blokową zamiast w 32 bitach.
- EN: Storing optimiser statistics (e.g. Adam moments) in 8 bits with block-wise quantisation instead of 32 bits.

## In one sentence

- PL: Sposób, by notatki optymalizatora o każdej wadze zajmowały kilka razy mniej miejsca, bez wyraźnego pogorszenia nauki.
- EN: A way to make the optimiser's notes about each weight take several times less space without noticeably hurting learning.

## Problem it solves

- PL: Popularny optymalizator trzyma dla każdej wagi dwie dodatkowe liczby, które zajmują więcej pamięci niż sam model.
- EN: A popular optimiser keeps two extra numbers per weight, taking more memory than the model itself.

## What it does

- PL: Jak prowadzenie dziennika skrótami: zajmuje mniej kartek, a przy czytaniu wciąż wiadomo, co było zapisane.
- EN: Like keeping a diary in shorthand: it fills fewer pages, yet you can still read what was written.

## Everyday example

- PL: Po jednej zmianie w konfiguracji dostrajanie modelu na laptopie z kartą graficzną zaczyna się mieścić w pamięci.
- EN: After one configuration change, fine-tuning a model on a laptop with a graphics card starts fitting in memory.

## This concerns you if you…

- PL: optymalizator zajmuje ci większość pamięci
- PL: szukasz prostej oszczędności bez zmiany ustawień nauki
- EN: find the optimiser takes most of your memory
- EN: want a simple saving without changing training settings

## Keywords

bitsandbytes · 8-bit Adam · block-wise quantization · dynamic quantization · stable embedding · paged AdamW

## How it works

- PL: Tensory stanów dzieli się na małe bloki kwantyzowane niezależnie z dynamiczną, nieliniową skalą, co ogranicza wpływ wartości odstających. Przed aktualizacją stany się dekwantyzuje, krok liczy w pełnej precyzji i ponownie kwantyzuje; stabilna warstwa embeddingów zmniejsza wariancję gradientów.
- EN: State tensors are split into small blocks quantised independently with a dynamic, non-linear scale, limiting outlier impact. Before each update states are dequantised, the step is computed in full precision and re-quantised; a stable embedding layer reduces gradient variance.

## Limits

- PL: Zysk dotyczy tylko stanów optymalizatora, nie aktywacji ani wag. Przy nietypowych rozkładach gradientów może być mniej stabilne; wymaga obsługi przez bibliotekę i sprzęt.
- EN: The saving covers only optimiser states, not activations or weights. With unusual gradient distributions it can be less stable; it needs library and hardware support.

## Key terms

- PL: **kwantyzacja blokowa**: Kompresja liczb w małych grupach, z których każda ma własną skalę.
- PL: **momenty Adama**: Bieżące średnie gradientu i jego kwadratu, które zapamiętuje Adam.
- EN: **block-wise quantisation**: Compressing numbers in small groups, each with its own scale.
- EN: **Adam moments**: Running averages of the gradient and its square that Adam stores.

## Know first

- [Optymalizatory (SGD, Adam/AdamW, Muon) (Optimizers for neural network training)](https://aiatlasgraph.com/t/optimizers.md)
- [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md)

## Related topics

Untyped, symmetric "see also" links.

- [Niskorzędowe rzutowanie gradientu (Low-rank gradient projection)](https://aiatlasgraph.com/t/galore.md)
- [QLoRA (Quantized low-rank adaptation (QLoRA))](https://aiatlasgraph.com/t/qlora.md)

## Sources

- [8-bit Optimizers via Block-wise Quantization](<https://arxiv.org/abs/2110.02861>) `dettmers-2021-8bitopt` · by Tim Dettmers, Mike Lewis, Sam Shleifer, Luke Zettlemoyer

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/eightbitoptim · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30