# Rozmiar partii treningowej i akumulacja gradientu

EN: **Training batch size and gradient accumulation** · id `batchsize` · aliases: batch size and gradient accumulation, rozmiar batcha i akumulacja gradientu

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Trenowanie i dostrajanie](https://aiatlasgraph.com/t/training.md) › [Proces uczenia](https://aiatlasgraph.com/t/optimization.md) › Rozmiar partii treningowej i akumulacja gradientu

## Description

- PL: Dobór liczby przykładów na krok aktualizacji: akumulacja gradientu przez mikrobatche i krytyczny rozmiar batcha.
- EN: Choosing how many examples go into each update step: gradient accumulation over micro-batches and the critical batch size.

## In one sentence

- PL: Decyzja, ile przykładów model ogląda przed każdą poprawką, i sposób na duży pakiet nawet na małej karcie graficznej.
- EN: Deciding how many examples a model sees before each correction, and how to get a large bundle even on a small graphics card.

## Problem it solves

- PL: Za mały pakiet przykładów daje chaotyczną naukę, za duży marnuje obliczenia, a duży często nie mieści się w pamięci.
- EN: Too small a bundle makes learning erratic, too large wastes compute, and a large one often won't fit in memory.

## What it does

- PL: Jak ankieta: zbyt mała daje przypadkowe wnioski, zbyt duża kosztuje bez zysku, a odpowiedzi można zbierać w kilku turach.
- EN: Like a survey: too small gives random conclusions, too large costs without benefit, and answers can be gathered in several rounds.

## Everyday example

- PL: Na zwykłej karcie graficznej zamiast 64 przykładów naraz liczysz osiem razy po osiem i dopiero wtedy poprawiasz model.
- EN: On an ordinary graphics card, instead of 64 examples at once you process eight batches of eight, then update the model.

## This concerns you if you…

- PL: dobierasz ustawienia treningu
- PL: chcesz trenować szybciej na wielu kartach
- EN: choose training settings
- EN: want to train faster on many GPUs

## Keywords

gradient accumulation · critical batch size · gradient noise scale · batch size warmup · linear scaling rule · LAMB · micro-batch

## How it works

- PL: Akumulacja sumuje gradienty z kilku mikrobatchy przed jednym krokiem optymalizatora, symulując większy batch kosztem czasu. Skala szumu gradientu szacuje krytyczny rozmiar batcha, powyżej którego dalsze zwiększanie słabo skraca liczbę kroków; rośnie on w trakcie treningu, gdy maleje strata.
- EN: Accumulation sums gradients from several micro-batches before one optimiser step, simulating a larger batch at the cost of time. The gradient noise scale estimates the critical batch size, beyond which larger batches barely cut step count; it grows during training as loss falls.

## Limits

- PL: Akumulacja nie przyspiesza treningu, tylko oszczędza pamięć, a normalizacja batchowa widzi wciąż mikrobatche. Zmiana batcha wymaga dostrojenia learning rate; powyżej rozmiaru krytycznego dodatkowe obliczenia dają malejące korzyści.
- EN: Accumulation saves memory but doesn't speed training, and batch normalisation still sees micro-batches. Changing batch size requires retuning the learning rate; beyond the critical size extra compute brings diminishing returns.

## Key terms

- PL: **mikrobatch**: Mała porcja przykładów mieszcząca się w pamięci, sumowana do większego batcha.
- PL: **skala szumu gradientu**: Miara pozwalająca oszacować, jak duży batch jeszcze się opłaca.
- PL: **krytyczny rozmiar batcha**: Próg, za którym większy batch prawie nie skraca treningu.
- EN: **micro-batch**: A small portion of examples that fits in memory, summed into a bigger batch.
- EN: **gradient noise scale**: A measure estimating how large a batch is still worthwhile.
- EN: **critical batch size**: The point beyond which a bigger batch barely shortens training.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)
- [Spadek gradientu i optymalizacja ciągła (Gradient descent and continuous optimisation)](https://aiatlasgraph.com/t/mathoptimization.md)

## Related topics

Untyped, symmetric "see also" links.

- [Harmonogram learning rate (rozgrzewka, cosinus, WSD) (Learning-rate schedules)](https://aiatlasgraph.com/t/lrschedules.md)

## Sources

- [An Empirical Model of Large-Batch Training](<https://arxiv.org/abs/1812.06162>) `mccandlish-2018-batch` · by Sam McCandlish, Jared Kaplan, Dario Amodei, OpenAI Dota Team

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/batchsize · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30