Wymiana danych między wieloma kartami: operacje zbiorowe i topologia.
Moving data between many GPUs: collective operations and topology.
To skoordynowana wymiana i łączenie danych między urządzeniami współpracującymi przy obliczeniach modelu.
This coordinates data exchange and aggregation among devices working together on model computations.
Każde urządzenie ma tylko część wyniku, a kolejny krok potrzebuje zgodnych informacji z całego zespołu.
Each device holds only part of the result, while the next step needs consistent information from the whole group.
Operacje rozsyłają, zbierają lub sumują fragmenty według ustalonego schematu; układ połączeń wpływa na czas wymiany.
Operations broadcast, gather or sum portions according to a defined scheme; connection topology affects transfer time.
Po obliczeniu poprawek na różnych porcjach danych karty łączą wyniki, żeby zgodnie zaktualizować model.
After calculating updates on different data portions, cards combine results to update the model consistently.