# Przycinanie wag i rzadkość (pruning)

EN: **Pruning and sparsity** · id `pruning` · aliases: pruning, przycinanie, sparsity, rzadkość, 2:4 sparsity, SparseGPT, Wanda

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [Kwantyzacja i kompresja](https://aiatlasgraph.com/t/compression.md) › Przycinanie wag i rzadkość (pruning)

## Description

- PL: Nadawanie wybranym wagom wartości zero w celu uzyskania rzadkiego modelu; może być niestrukturalne lub zgodne ze wzorcem sprzętowym, takim jak 2:4. Kompromis między rzadkością a jakością zależy od modelu, danych kalibracyjnych i metody; SparseGPT i Wanda są przykładami jednorazowego przycinania LLM bez ponownego trenowania.
- EN: Setting selected weights to zero to obtain a sparse model; pruning may be unstructured or follow a hardware-friendly pattern such as 2:4. The quality-sparsity trade-off depends on the model, calibration data and method; SparseGPT and Wanda are examples of one-shot LLM pruning without retraining.

## In one sentence

- PL: To usuwanie lub zerowanie wybranych połączeń modelu, żeby ograniczyć jego aktywną część.
- EN: This removes or zeros selected model connections to reduce its active components.

## Problem it solves

- PL: Model ma wiele połączeń, które można ograniczyć, ale przypadkowe usuwanie może zepsuć odpowiedzi.
- EN: A model has many connections that might be reduced, but removing them arbitrarily can damage responses.

## What it does

- PL: Metoda wybiera mniej potrzebne połączenia i sprawdza jakość; przyspieszenie wymaga, żeby sprzęt i program potrafiły wykorzystać otrzymaną rzadkość.
- EN: A method selects less-needed connections and checks quality; speedups require hardware and software that can exploit the resulting sparsity.

## Everyday example

- PL: Po wyzerowaniu części połączeń porównujesz odpowiedzi i mierzysz, czy wybrane środowisko rzeczywiście liczy szybciej.
- EN: After zeroing some connections, you compare responses and measure whether the chosen runtime actually computes faster.

## This concerns you if you…

- PL: chcesz ograniczyć liczbę aktywnych połączeń
- PL: sprzęt obsługuje oszczędne obliczenia rzadkich modeli
- EN: want fewer active connections
- EN: use hardware supporting efficient sparse-model computation

## Keywords

SparseGPT · Wanda · magnitude pruning · activation-aware pruning · structured sparsity · 2:4 sparsity · one-shot pruning

## How it works

- PL: Kryterium ważności wybiera wagi, kanały lub inne elementy do wyzerowania albo usunięcia. Ocena wpływu na wyjście i ewentualne dostrajanie ograniczają degradację, a wzorzec rzadkości wyznacza sposób wykonania na sprzęcie.
- EN: An importance criterion selects weights, channels or other elements for zeroing or removal. Output-impact assessment and optional fine-tuning limit degradation, while sparsity patterns determine hardware execution.

## Limits

- PL: Zera nie przyspieszają automatycznie gęstych operatorów. Rzadkość musi pasować do kerneli; usunięcie zależnych elementów może pogorszyć jakość, szczególnie poza danymi użytymi do selekcji.
- EN: Zeros do not automatically accelerate dense operators. Sparsity must match kernels; removing dependent elements can hurt quality, especially beyond selection data.

## Key terms

- PL: **rzadkość strukturalna**: Usuwanie całych bloków, kanałów lub elementów zgodnych ze wzorcem wykonania.
- PL: **kryterium ważności**: Miara przewidywanego wpływu usunięcia elementu na zachowanie modelu.
- EN: **structured sparsity**: Removing whole blocks, channels or elements matching an execution pattern.
- EN: **importance criterion**: A measure estimating how element removal affects model behaviour.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)
- [Zbiory testowe i regresje (Evaluation datasets and regression tests)](https://aiatlasgraph.com/t/evalsets.md)

## Examples

- PL: przycinanie wg modułu lub aktywacji · przycinanie jednorazowe (SparseGPT, Wanda) · rzadkość półstrukturalna 2:4 · łączenie z kwantyzacją
- EN: magnitude- or activation-aware pruning · one-shot pruning (SparseGPT, Wanda) · 2:4 semi-structured sparsity · combining with quantisation

## Related topics

Untyped, symmetric "see also" links.

- [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md)

## Sources

- [MIT 6.5940: TinyML and Efficient Deep Learning Computing (Fall 2024)](<https://hanlab.mit.edu/courses/2024-fall-65940>) `mit-65940-efficientml` · by Song Han (MIT HAN Lab)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](<https://arxiv.org/abs/2301.00774>) `sparsegpt-2023` · by Elias Frantar, Dan Alistarh
- [A Simple and Effective Pruning Approach for Large Language Models (Wanda)](<https://arxiv.org/abs/2306.11695>) `wanda-2023` · by Mingjie Sun, Zhuang Liu, Anna Bair, J. Zico Kolter

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/pruning · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30