# Połączenia między układami i sieć klastra

EN: **Accelerator interconnects and cluster networking** · id `interconnects` · aliases: interconnect, NVLink, InfiniBand, ICI, scale-up vs scale-out, sieć klastra AI

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [Akceleratory](https://aiatlasgraph.com/t/hardware.md) › Połączenia między układami i sieć klastra

## Description

- PL: Sposoby wymiany danych między akceleratorami: szybkie łącza wewnątrz serwera lub podu (scale-up) oraz sieć między serwerami (scale-out), w topologiach takich jak torus czy fat-tree. Przepustowość i opóźnienie tych połączeń silnie wpływają na skalowanie treningu i inferencji na wiele układów.
- EN: Ways accelerators exchange data: fast links within a server or pod (scale-up) and networking between servers (scale-out), using topologies such as torus or fat-tree. Their bandwidth and latency strongly affect how training and inference scale across many chips.

## In one sentence

- PL: To połączenia umożliwiające wymianę danych między układami i serwerami pracującymi nad modelem.
- EN: These connections exchange data between chips and servers working on a model.

## Problem it solves

- PL: Dodajesz kolejne urządzenia, ale czas oczekiwania na przesyłanie danych zjada oczekiwane przyspieszenie.
- EN: You add more devices, but time spent transferring data consumes the expected speedup.

## What it does

- PL: Szybkość, opóźnienie i układ połączeń decydują, jak sprawnie urządzenia przekazują wspólne wyniki i części modelu.
- EN: Connection speed, latency and topology determine how efficiently devices exchange shared results and model components.

## Everyday example

- PL: Przed podziałem treningu na kilka serwerów sprawdzasz, czy ich sieć nadąża za wymianą aktualizacji.
- EN: Before spreading training across servers, you check whether their network can keep up with update transfers.

## This concerns you if you…

- PL: model pracuje na kilku urządzeniach
- PL: wydajność spada przez wymianę danych
- EN: run a model across several devices
- EN: lose performance to data exchange

## Keywords

NVLink · InfiniBand · Ethernet · TPU ICI · fat-tree topology · torus topology · bisection bandwidth

## How it works

- PL: Łącza i przełączniki przenoszą fragmenty tensorów pomiędzy urządzeniami według fizycznej topologii. Trasowanie, przepustowość i współdzielenie ścieżek określają czas kolektywów oraz możliwość nakładania komunikacji na obliczenia.
- EN: Links and switches move tensor fragments between devices according to physical topology. Routing, bandwidth and shared paths determine collective-operation time and opportunities to overlap communication with computation.

## Limits

- PL: Teoretyczna szybkość łącza nie uwzględnia rywalizacji i kosztu małych komunikatów. Niekorzystny podział modelu może przeciążyć wybrane ścieżki; awarie oraz różne poziomy sieci komplikują skalowanie.
- EN: Theoretical link speed excludes contention and small-message overhead. Poor model partitioning can overload particular paths; failures and network hierarchies complicate scaling.

## Key terms

- PL: **topologia**: Układ połączeń wyznaczający możliwe drogi wymiany danych.
- PL: **bisection bandwidth**: Przepustowość łączy między dwiema częściami podzielonej sieci.
- EN: **topology**: The connection layout defining possible data-transfer paths.
- EN: **bisection bandwidth**: The bandwidth across links between two partitions of a network.

## Know first

- [Strategie zrównoleglania treningu (Training parallelism strategies)](https://aiatlasgraph.com/t/parallelism.md)
- [Programowanie GPU (CUDA) (GPU programming (CUDA))](https://aiatlasgraph.com/t/gpuprog.md)

## Examples

- PL: scale-up (NVLink, ICI) · scale-out (InfiniBand, Ethernet) · topologie torus i fat-tree · hierarchia przepustowości HBM ≫ łącza ≫ sieć centrum danych
- EN: scale-up (NVLink, ICI) · scale-out (InfiniBand, Ethernet) · torus and fat-tree topologies · bandwidth hierarchy HBM ≫ links ≫ datacenter network

## Related topics

Untyped, symmetric "see also" links.

- [Komunikacja między GPU (Multi-GPU communication)](https://aiatlasgraph.com/t/collectives.md)
- [Strategie zrównoleglania treningu (Training parallelism strategies)](https://aiatlasgraph.com/t/parallelism.md)

## Sources

- [AI and Memory Wall](<https://arxiv.org/abs/2403.14123>) `ai-memory-wall-2024` · by Amir Gholami, Zhewei Yao, Sehoon Kim, Coleman Hooper, Michael W. Mahoney, Kurt Keutzer (UC Berkeley)
- [How to Scale Your Model — How to Think About TPUs](<https://jax-ml.github.io/scaling-book/tpus/>) `scaling-book-tpus` · by Jacob Austin, Sholto Douglas, Roy Frostig, Anselm Levskaya, Reiner Pope i in. (Google DeepMind) · sponsored
- [How to Scale Your Model — How to Think About GPUs (networking section)](<https://jax-ml.github.io/scaling-book/gpus/>) `scaling-book-gpus` · by Jacob Austin i in. (Google DeepMind)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/interconnects · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30