Kwantyzacja i kompresja

Quantization and compression · id compression

Zmniejszanie kosztu pamięci i obliczeń.

Cutting memory and compute cost.

In one sentence

To zmniejszanie zapisu lub aktywnej części modelu, żeby ograniczyć jego potrzeby pamięciowe i obliczeniowe.

This reduces a model's representation or active components to lower memory and computation needs.

Problem it solves

Model nie mieści się na urządzeniu albo jego obsługa kosztuje zbyt dużo zasobów.

A model does not fit on your device or serving it consumes too many resources.

What it does

Liczby zapisuje się oszczędniej lub pomija wybrane połączenia; uzyskane oszczędności i błędy zależą od metody oraz obsługi sprzętowej.

Numbers are stored more compactly or selected connections are omitted; savings and errors depend on the method and hardware support.

Everyday example

Wybierasz mniejszy zapis modelu do laptopa i porównujesz odpowiedzi z pełniejszą wersją.

You choose a smaller model representation for a laptop and compare its responses with the fuller version.

This concerns you if you…

• pamięć urządzenia ogranicza wybór modelu
• chcesz sprawdzić kompromis między kosztem a jakością
• find device memory limits model choice
• want to check cost-quality trade-offs

Examples

• Niższa precyzja · pruning
• Lower precision · pruning

Subtopics

• Kwantyzacja samych wag (Weight-only quantization): Storing weights in low precision with layer-by-layer calibration to keep quality at 4 bits and below.
• Kwantyzacja wag i aktywacji (Weight and activation quantization): Lowering precision for activations too. Requires taming outlier values that break the scale.
• Przycinanie wag i rzadkość (pruning) (Pruning and sparsity): Setting selected weights to zero to obtain a sparse model; pruning may be unstructured or follow a hardware-friendly pattern such as 2:4. The quality-sparsity trade-off depends on the model, calibration data and method; SparseGPT and Wanda are examples of one-shot LLM pruning without retraining.

Related topics

• Rdzenie tensorowe i niska precyzja (Tensor cores and low precision)

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• FSDL · LLM Bootcamp (2023, archiwum) · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
• Performance Engineering for AI Infra — learning guide · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.
• LLM Course (Maxime Labonne) · Maxime Labonne