Sposoby wymiany danych między akceleratorami: szybkie łącza wewnątrz serwera lub podu (scale-up) oraz sieć między serwerami (scale-out), w topologiach takich jak torus czy fat-tree. Przepustowość i opóźnienie tych połączeń silnie wpływają na skalowanie treningu i inferencji na wiele układów.
Ways accelerators exchange data: fast links within a server or pod (scale-up) and networking between servers (scale-out), using topologies such as torus or fat-tree. Their bandwidth and latency strongly affect how training and inference scale across many chips.
To połączenia umożliwiające wymianę danych między układami i serwerami pracującymi nad modelem.
These connections exchange data between chips and servers working on a model.
Dodajesz kolejne urządzenia, ale czas oczekiwania na przesyłanie danych zjada oczekiwane przyspieszenie.
You add more devices, but time spent transferring data consumes the expected speedup.
Szybkość, opóźnienie i układ połączeń decydują, jak sprawnie urządzenia przekazują wspólne wyniki i części modelu.
Connection speed, latency and topology determine how efficiently devices exchange shared results and model components.
Przed podziałem treningu na kilka serwerów sprawdzasz, czy ich sieć nadąża za wymianą aktualizacji.
Before spreading training across servers, you check whether their network can keep up with update transfers.