# Komunikacja między GPU

EN: **Multi-GPU communication** · id `collectives`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [GPU i obliczenia rozproszone](https://aiatlasgraph.com/t/compute.md) › Komunikacja między GPU

## Description

- PL: Wymiana danych między wieloma kartami: operacje zbiorowe i topologia.
- EN: Moving data between many GPUs: collective operations and topology.

## In one sentence

- PL: To skoordynowana wymiana i łączenie danych między urządzeniami współpracującymi przy obliczeniach modelu.
- EN: This coordinates data exchange and aggregation among devices working together on model computations.

## Problem it solves

- PL: Każde urządzenie ma tylko część wyniku, a kolejny krok potrzebuje zgodnych informacji z całego zespołu.
- EN: Each device holds only part of the result, while the next step needs consistent information from the whole group.

## What it does

- PL: Operacje rozsyłają, zbierają lub sumują fragmenty według ustalonego schematu; układ połączeń wpływa na czas wymiany.
- EN: Operations broadcast, gather or sum portions according to a defined scheme; connection topology affects transfer time.

## Everyday example

- PL: Po obliczeniu poprawek na różnych porcjach danych karty łączą wyniki, żeby zgodnie zaktualizować model.
- EN: After calculating updates on different data portions, cards combine results to update the model consistently.

## This concerns you if you…

- PL: urządzenia muszą uzgadniać wspólne wyniki
- PL: komunikacja ogranicza tempo treningu
- EN: need devices to agree on shared results
- EN: find communication limits training speed

## Keywords

NCCL · all-reduce · all-gather · reduce-scatter · ring all-reduce · communication overlap · hierarchical collectives

## How it works

- PL: Uczestnicy grupy wspólnie redukują, rozsyłają lub zbierają fragmenty tensorów według uzgodnionego protokołu. Algorytmy pierścieniowe, drzewiaste lub hierarchiczne dzielą transfery, dobierając trasę i rozmiary komunikatów do topologii.
- EN: Group participants jointly reduce, distribute or gather tensor fragments under a shared protocol. Ring, tree or hierarchical algorithms partition transfers, matching routes and message sizes to topology.

## Limits

- PL: Wolny uczestnik i zatłoczone łącze opóźniają grupę. Małe komunikaty płacą za latencję, duże za przepustowość; błędna kolejność kolektywów może blokować wykonanie.
- EN: Slow participants and congested links delay groups. Small messages incur latency, large ones bandwidth costs; incorrect collective ordering can block execution.

## Key terms

- PL: **all-reduce**: Agregacja wkładów wszystkich uczestników z przekazaniem wyniku każdemu.
- PL: **all-gather**: Zebranie rozdzielonych fragmentów tak, aby każdy uczestnik otrzymał całość.
- EN: **all-reduce**: Aggregating all participants' contributions and delivering the result to each.
- EN: **all-gather**: Collecting distributed fragments so every participant receives the whole.

## Know first

- [Strategie zrównoleglania treningu (Training parallelism strategies)](https://aiatlasgraph.com/t/parallelism.md)
- [Połączenia między układami i sieć klastra (Accelerator interconnects and cluster networking)](https://aiatlasgraph.com/t/interconnects.md)

## Examples

- PL: NCCL · all-reduce · all-gather

## Related topics

Untyped, symmetric "see also" links.

- [Połączenia między układami i sieć klastra (Accelerator interconnects and cluster networking)](https://aiatlasgraph.com/t/interconnects.md)

## Sources

- [Performance Engineering for AI Infra — learning guide](<https://github.com/wafer-ai/gpu-perf-engineering-resources>) `wafer-gpu` · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · by Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/collectives · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30