# Strategie zrównoleglania treningu

EN: **Training parallelism strategies** · id `parallelism`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [GPU i obliczenia rozproszone](https://aiatlasgraph.com/t/compute.md) › Strategie zrównoleglania treningu

## Description

- PL: Jak podzielić model i dane między karty.
- EN: How to split a model and its data across devices.

## In one sentence

- PL: To dzielenie danych, części modelu lub etapów treningu między urządzenia pracujące równocześnie.
- EN: This splits data, model components or training stages across devices working simultaneously.

## Problem it solves

- PL: Trening jest zbyt wolny albo cały model nie mieści się na jednym urządzeniu.
- EN: Training is too slow or the whole model does not fit on one device.

## What it does

- PL: Urządzenia mogą ćwiczyć na różnych przykładach, liczyć części tej samej warstwy lub przekazywać pracę przez kolejne etapy.
- EN: Devices can train on different examples, compute parts of the same layer or pass work through successive stages.

## Everyday example

- PL: Rozdzielasz duży model między karty, a każda wykonuje przypisany fragment i przekazuje wyniki dalej.
- EN: You split a large model across cards, with each computing its assigned portion and passing results onward.

## This concerns you if you…

- PL: trenujesz model na wielu urządzeniach
- PL: potrzebujesz podzielić model przekraczający pamięć jednej karty
- EN: train a model on multiple devices
- EN: need to split a model exceeding one card's memory

## Keywords

tensor parallelism · pipeline parallelism · data parallelism · ZeRO · FSDP · sequence parallelism · microbatch scheduling · pipeline bubbles

## How it works

- PL: Równoległość danych przetwarza różne przykłady i uzgadnia gradienty, a tensorowa dzieli operacje modelu pomiędzy urządzenia. Podział potokowy rozmieszcza warstwy i mikrobatche w harmonogramie, zaś shardowanie stanu ogranicza pamięć pojedynczego wykonawcy.
- EN: Data parallelism processes different examples and reconciles gradients, while tensor parallelism splits model operations across devices. Pipeline partitioning schedules layers and microbatches, while state sharding limits memory per worker.

## Limits

- PL: Komunikacja, nierówne obciążenie i bąble potoku ograniczają skalowanie. Podział musi odpowiadać topologii oraz rozmiarom tensorów; większa równoległość zmienia także batch i warunki optymalizacji.
- EN: Communication, imbalance and pipeline bubbles limit scaling. Partitioning must match topology and tensor shapes; increased parallelism also changes batch size and optimisation conditions.

## Key terms

- PL: **shardowanie**: Podział parametrów lub stanu na fragmenty przechowywane przez różne urządzenia.
- PL: **bąbel potoku**: Przestój etapu oczekującego na dane lub zakończenie zależnej pracy.
- EN: **sharding**: Partitioning parameters or state across different devices.
- EN: **pipeline bubble**: A stage stall while awaiting data or dependent work.

## Know first

- [Propagacja wsteczna (backpropagation) (Backpropagation)](https://aiatlasgraph.com/t/backprop.md)
- [Algebra liniowa: wektory i macierze (Linear algebra: vectors and matrices)](https://aiatlasgraph.com/t/linearalgebra.md)

## Examples

- PL: tensor · pipeline · data parallelism · ZeRO / FSDP

## Related topics

Untyped, symmetric "see also" links.

- [Mixture of Experts (MoE) — mieszanka ekspertów (Mixture of Experts (MoE))](https://aiatlasgraph.com/t/moe.md)
- [Połączenia między układami i sieć klastra (Accelerator interconnects and cluster networking)](https://aiatlasgraph.com/t/interconnects.md)
- [Trening od zera / pretraining (Training from scratch and pretraining)](https://aiatlasgraph.com/t/pretraining.md)

## Sources

- [Performance Engineering for AI Infra — learning guide](<https://github.com/wafer-ai/gpu-perf-engineering-resources>) `wafer-gpu` · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · by Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.
- [LLM Course (Maxime Labonne)](<https://github.com/mlabonne/llm-course>) `mlabonne-llm-course` · by Maxime Labonne

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/parallelism · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30