Jak podzielić model i dane między karty.
How to split a model and its data across devices.
To dzielenie danych, części modelu lub etapów treningu między urządzenia pracujące równocześnie.
This splits data, model components or training stages across devices working simultaneously.
Trening jest zbyt wolny albo cały model nie mieści się na jednym urządzeniu.
Training is too slow or the whole model does not fit on one device.
Urządzenia mogą ćwiczyć na różnych przykładach, liczyć części tej samej warstwy lub przekazywać pracę przez kolejne etapy.
Devices can train on different examples, compute parts of the same layer or pass work through successive stages.
Rozdzielasz duży model między karty, a każda wykonuje przypisany fragment i przekazuje wyniki dalej.
You split a large model across cards, with each computing its assigned portion and passing results onward.