# Harmonogram learning rate (rozgrzewka, cosinus, WSD)

EN: **Learning-rate schedules** · id `lrschedules` · aliases: learning rate schedule, LR schedule, warmup, cosine schedule, WSD, harmonogram uczenia

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › Harmonogram learning rate (rozgrzewka, cosinus, WSD)

## Description

- PL: Plan zmiany kroku uczenia w trakcie treningu. Częste schematy obejmują rozgrzewkę i późniejsze wygaszanie; WSD dodaje dłuższą fazę stałego kroku przed końcowym spadkiem, co ułatwia przedłużanie treningu.
- EN: A plan for changing the learning rate during training. Common patterns include warm-up followed by decay; WSD adds a longer stable-rate phase before the final decay, making training runs easier to extend.

## In one sentence

- PL: To plan zmieniania wielkości poprawek modelu w trakcie treningu.
- EN: This schedules changes to the size of model updates during training.

## Problem it solves

- PL: Duże kroki pomagają na początku, ale później mogą psuć wynik; zbyt małe od początku spowalniają naukę.
- EN: Large steps can help early but later damage results; starting too small slows learning.

## What it does

- PL: Harmonogram może stopniowo zwiększać krok, utrzymywać go przez część treningu, a potem zmniejszać, dopasowując tempo do etapu nauki.
- EN: A schedule can gradually raise the step size, hold it for part of training and then lower it as learning progresses.

## Everyday example

- PL: W długim treningu zaczynasz od łagodnych aktualizacji, a pod koniec zmniejszasz krok, żeby dopracować model.
- EN: In a long training run, you begin with gentle updates and reduce the step size near the end to refine the model.

## This concerns you if you…

- PL: planujesz dłuższy trening
- PL: chcesz zmieniać tempo aktualizacji między etapami
- EN: plan a longer training run
- EN: want update speed to vary across stages

## Keywords

linear warmup · cosine decay · WSD schedule · one-cycle policy · inverse square root schedule · learning rate finder

## How it works

- PL: Funkcja czasu lub postępu danych zmienia learning rate kolejnych aktualizacji. Rozgrzewka ogranicza początkowy krok, faza stała utrzymuje tempo, a wygaszanie zmniejsza ruch parametrów pod koniec wybranego odcinka treningu.
- EN: A time or data-progress function changes successive-update learning rates. Warmup limits initial steps, a stable phase maintains pace, and decay reduces parameter movement near a chosen training segment's end.

## Limits

- PL: Harmonogram zależy od całkowitego budżetu, batcha i optymalizatora. Przedłużenie po wygaszeniu może wymagać nowego planu; zbyt duży krok destabilizuje, a zbyt mały spowalnia uczenie.
- EN: Schedules depend on total budgets, batch sizes and optimisers. Extending after decay can require replanning; excessive steps destabilise while tiny steps slow learning.

## Key terms

- PL: **warmup**: Stopniowe zwiększanie kroku uczenia na początku przebiegu.
- PL: **decay**: Zaplanowane zmniejszanie kroku uczenia w kolejnych aktualizacjach.
- EN: **warmup**: Gradually increasing learning rates at the start of a run.
- EN: **decay**: A planned decrease in learning rates across updates.

## Know first

- [Optymalizatory (SGD, Adam/AdamW, Muon) (Optimizers for neural network training)](https://aiatlasgraph.com/t/optimizers.md)
- [Przeuczenie, niedouczenie i regularyzacja (Overfitting, underfitting and regularisation)](https://aiatlasgraph.com/t/biasvariance.md)

## Examples

- PL: warmup · spadek cosinusowy · warmup–stable–decay (WSD) · cooldown
- EN: warmup · cosine decay · warmup–stable–decay (WSD) · cooldown

## Related topics

Untyped, symmetric "see also" links.

- [Mid-training (późna faza pretrainingu) (Mid-training)](https://aiatlasgraph.com/t/midtraining.md)
- [Prawa skalowania i budżet obliczeń (Scaling laws and compute-optimal training)](https://aiatlasgraph.com/t/scalinglaws.md)
- [Przenoszenie hiperparametrów z małego modelu na duży (μP) (Maximal update parametrization (μP) and hyperparameter transfer)](https://aiatlasgraph.com/t/mup.md)
- [Rozmiar partii treningowej i akumulacja gradientu (Training batch size and gradient accumulation)](https://aiatlasgraph.com/t/batchsize.md)
- [Stabilność treningu i skoki straty (Training stability)](https://aiatlasgraph.com/t/trainingstability.md)
- [Strojenie hiperparametrów (Hyperparameter tuning)](https://aiatlasgraph.com/t/hptuning.md)

## Sources

- [Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations](<https://arxiv.org/abs/2405.18392>) `wsd-hagele-2024` · by Alexander Hägele, Elie Bakouch, Atli Kosson i in. (EPFL / Hugging Face)
- [Dive into Deep Learning — ch. 12: Optimization Algorithms](<https://d2l.ai/chapter_optimization/index.html>) `d2l-optimization` · by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (autorzy podręcznika — z wiedzy modelu; strona ich nie pokazała)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/lrschedules · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30