Plan zmiany kroku uczenia w trakcie treningu. Częste schematy obejmują rozgrzewkę i późniejsze wygaszanie; WSD dodaje dłuższą fazę stałego kroku przed końcowym spadkiem, co ułatwia przedłużanie treningu.
A plan for changing the learning rate during training. Common patterns include warm-up followed by decay; WSD adds a longer stable-rate phase before the final decay, making training runs easier to extend.
To plan zmieniania wielkości poprawek modelu w trakcie treningu.
This schedules changes to the size of model updates during training.
Duże kroki pomagają na początku, ale później mogą psuć wynik; zbyt małe od początku spowalniają naukę.
Large steps can help early but later damage results; starting too small slows learning.
Harmonogram może stopniowo zwiększać krok, utrzymywać go przez część treningu, a potem zmniejszać, dopasowując tempo do etapu nauki.
A schedule can gradually raise the step size, hold it for part of training and then lower it as learning progresses.
W długim treningu zaczynasz od łagodnych aktualizacji, a pod koniec zmniejszasz krok, żeby dopracować model.
In a long training run, you begin with gentle updates and reduce the step size near the end to refine the model.