Nadawanie wybranym wagom wartości zero w celu uzyskania rzadkiego modelu; może być niestrukturalne lub zgodne ze wzorcem sprzętowym, takim jak 2:4. Kompromis między rzadkością a jakością zależy od modelu, danych kalibracyjnych i metody; SparseGPT i Wanda są przykładami jednorazowego przycinania LLM bez ponownego trenowania.
Setting selected weights to zero to obtain a sparse model; pruning may be unstructured or follow a hardware-friendly pattern such as 2:4. The quality-sparsity trade-off depends on the model, calibration data and method; SparseGPT and Wanda are examples of one-shot LLM pruning without retraining.
To usuwanie lub zerowanie wybranych połączeń modelu, żeby ograniczyć jego aktywną część.
This removes or zeros selected model connections to reduce its active components.
Model ma wiele połączeń, które można ograniczyć, ale przypadkowe usuwanie może zepsuć odpowiedzi.
A model has many connections that might be reduced, but removing them arbitrarily can damage responses.
Metoda wybiera mniej potrzebne połączenia i sprawdza jakość; przyspieszenie wymaga, żeby sprzęt i program potrafiły wykorzystać otrzymaną rzadkość.
A method selects less-needed connections and checks quality; speedups require hardware and software that can exploit the resulting sparsity.
Po wyzerowaniu części połączeń porównujesz odpowiedzi i mierzysz, czy wybrane środowisko rzeczywiście liczy szybciej.
After zeroing some connections, you compare responses and measure whether the chosen runtime actually computes faster.