# Optymalizatory (SGD, Adam/AdamW, Muon)

EN: **Optimizers for neural network training** · id `optimizers` · aliases: optimizers, Adam, AdamW, SGD, Muon, optymalizatory

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › Optymalizatory (SGD, Adam/AdamW, Muon)

## Description

- PL: Reguły zamieniające gradient w aktualizację wag: od SGD z momentum, przez adaptacyjne Adam i AdamW, po nowsze optymalizatory macierzowe, takie jak Muon.
- EN: Rules that turn a gradient into a weight update: from SGD with momentum, through adaptive Adam and AdamW, to newer matrix-aware optimisers such as Muon.

## In one sentence

- PL: To reguły wykorzystujące informację o błędzie do wyznaczania poprawek ustawień modelu.
- EN: These rules use error information to determine model-parameter updates.

## Problem it solves

- PL: Wiesz, w którą stronę zmiana może zmniejszyć błąd, ale musisz jeszcze dobrać sposób jej wykonania.
- EN: You know which direction might reduce error but still need to choose how to make the update.

## What it does

- PL: Algorytm może używać bieżącego sygnału, historii zmian i różnej skali dla ustawień, żeby wyznaczać kolejne poprawki.
- EN: An algorithm can use current signals, update history and different parameter scales to determine subsequent adjustments.

## Everyday example

- PL: Porównujesz reguły aktualizacji na tym samym modelu kwiatów, obserwując tempo uczenia i jakość na nowych zdjęciach.
- EN: You compare update rules on the same flower model, observing learning speed and quality on new photos.

## This concerns you if you…

- PL: wybierasz algorytm aktualizacji podczas treningu
- PL: uczenie reaguje źle na obecne ustawienia
- EN: choose a training update algorithm
- EN: find learning behaves poorly with current settings

## Keywords

SGD with momentum · Adam · AdamW · Muon · Lion · Adafactor · Shampoo · weight decay

## How it works

- PL: Reguła aktualizacji przekształca gradient przez momentum, adaptacyjne skalowanie lub operacje macierzowe. Stan historyczny oraz learning rate wyznaczają kierunek i wielkość kroku, a oddzielony weight decay może dodatkowo zmniejszać wagi.
- EN: Update rules transform gradients through momentum, adaptive scaling or matrix operations. Historical state and learning rates determine step directions and sizes, while decoupled weight decay can additionally shrink weights.

## Limits

- PL: Stan zwiększa pamięć, a dodatkowe przekształcenia koszt obliczeń. Dobór reguły nie usuwa potrzeby strojenia; różne typy parametrów mogą wymagać innych ustawień i obsługi numerycznej.
- EN: State increases memory and extra transformations add computation. Rule choice cannot remove tuning needs; different parameter types can require distinct settings and numerical handling.

## Key terms

- PL: **momentum**: Wygładzony kierunek oparty na gradientach z kolejnych aktualizacji.
- PL: **adaptacyjne skalowanie**: Dostosowanie wielkości kroku do statystyk gradientu dla parametrów.
- EN: **momentum**: A smoothed direction based on gradients across successive updates.
- EN: **adaptive scaling**: Adjusting step sizes using parameter-specific gradient statistics.

## Know first

- [Rachunek różniczkowy i gradienty (Calculus and gradients)](https://aiatlasgraph.com/t/calculus.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: SGD z momentum · RMSProp · Adam · AdamW (odsprzężony weight decay) · Muon
- EN: SGD with momentum · RMSProp · Adam · AdamW (decoupled weight decay) · Muon

## Related topics

Untyped, symmetric "see also" links.

- [Spadek gradientu i optymalizacja ciągła (Gradient descent and continuous optimisation)](https://aiatlasgraph.com/t/mathoptimization.md)

## Sources

- [Decoupled Weight Decay Regularization](<https://arxiv.org/abs/1711.05101>) `adamw-2017` · by Ilya Loshchilov, Frank Hutter
- [Muon is Scalable for LLM Training](<https://arxiv.org/abs/2502.16982>) `muon-scalable-2025` · by Jingyuan Liu, Jianlin Su, Xingcheng Yao i in. (Moonshot AI)
- [Dive into Deep Learning — ch. 12: Optimization Algorithms](<https://d2l.ai/chapter_optimization/index.html>) `d2l-optimization` · by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (autorzy podręcznika — z wiedzy modelu; strona ich nie pokazała)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/optimizers · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30