# Kwantyzacja wag i aktywacji

EN: **Weight and activation quantization** · id `actquant`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [Kwantyzacja i kompresja](https://aiatlasgraph.com/t/compression.md) › Kwantyzacja wag i aktywacji

## Description

- PL: Obniżenie precyzji także dla aktywacji. Wymaga oswojenia wartości odstających, które psują skalę.
- EN: Lowering precision for activations too. Requires taming outlier values that break the scale.

## In one sentence

- PL: To ograniczanie dokładności zarówno ustawień modelu, jak i liczb powstających podczas jego pracy.
- EN: This lowers precision for both model parameters and the numbers produced during execution.

## Problem it solves

- PL: Mniejszy plik modelu nie wystarcza, jeśli dalsze obliczenia nadal wymagają dużych zapisów pośrednich.
- EN: A smaller model file is insufficient if computation still requires large intermediate representations.

## What it does

- PL: Skale dobiera się także dla sygnałów wewnętrznych, uwzględniając nietypowo duże wartości, które mogą zwiększać błąd zaokrąglania.
- EN: Scales are also chosen for internal signals, accounting for unusually large values that can increase rounding errors.

## Everyday example

- PL: Przed wdrożeniem modelu sprawdzasz, czy mniej dokładne sygnały pośrednie przyspieszają obliczenia bez nadmiernego pogorszenia wyników.
- EN: Before deploying a model, you check whether lower-precision intermediate signals accelerate computation without excessive quality loss.

## This concerns you if you…

- PL: chcesz oszczędzać także podczas obliczeń
- PL: duże wartości sygnałów psują jakość kompresji
- EN: want savings during computation too
- EN: find large signal values harm compression quality

## Keywords

LLM.int8() · SmoothQuant · ZeroQuant · activation outliers · dynamic quantization · channel rescaling

## How it works

- PL: Aktywacje mapuje się do ograniczonej precyzji za pomocą skal wyznaczanych statycznie lub podczas wykonania. Kalibracja zakresów, przycinanie i przeskalowanie kanałów ograniczają wpływ odstających wartości na operatory łączące skwantyzowane wejścia z wagami.
- EN: Activations are mapped to reduced precision using static or runtime scales. Range calibration, clipping and channel rescaling limit outlier effects on operators combining quantised inputs and weights.

## Limits

- PL: Rozkład aktywacji zmienia się z wejściem, więc mały zbiór kalibracyjny może zawodzić. Skale dynamiczne kosztują obliczenia; przycięcie zakresu usuwa informację, a format musi pasować do sprzętu.
- EN: Activation distributions vary with inputs, so small calibration sets can fail. Dynamic scales cost computation; clipping removes information, and formats must match hardware.

## Key terms

- PL: **kwantyzacja dynamiczna**: Wyznaczanie skali aktywacji na podstawie bieżących danych wykonania.
- PL: **wartość odstająca**: Element daleko poza typowym zakresem, mogący zdominować skalę.
- EN: **dynamic quantisation**: Determining activation scales from current execution data.
- EN: **outlier**: An element far outside typical ranges that can dominate scaling.

## Know first

- [Normalizacja warstw (BatchNorm, LayerNorm, RMSNorm) (Normalisation layers (BatchNorm, LayerNorm, RMSNorm))](https://aiatlasgraph.com/t/normalization.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: LLM.int8() · SmoothQuant · ZeroQuant

## Related topics

Untyped, symmetric "see also" links.

- [Modele językowe na telefonie i laptopie (On-device language models)](https://aiatlasgraph.com/t/ondevicellm.md)
- [TinyML — modele na mikrokontrolerach (TinyML on microcontrollers)](https://aiatlasgraph.com/t/tinyml.md)

## Sources

- [LLM Course (Maxime Labonne)](<https://github.com/mlabonne/llm-course>) `mlabonne-llm-course` · by Maxime Labonne

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/actquant · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30