Warstwy z wieloma podsieciami-„ekspertami”, w których router kieruje każdy token tylko do wybranej części ekspertów. Rzadkie aktywowanie parametrów może obniżyć koszt obliczeń na token względem gęstego modelu o podobnej liczbie wszystkich parametrów, ale pozostawia koszty przechowywania wag, komunikacji i równoważenia obciążenia.
Layers containing many expert subnetworks, where a router sends each token to only a selected subset. Sparse parameter activation can reduce compute per token compared with a dense model of similar total parameter count, while weight storage, communication and load balancing remain important costs.
To model z wieloma podsieciami, który dla każdego fragmentu danych uruchamia tylko wybrane z nich.
This model contains many subnetworks but activates only selected ones for each data element.
Wykorzystanie wszystkich części wielkiego modelu przy każdym słowie kosztuje zbyt wiele obliczeń.
Using every part of a large model for each word requires too much computation.
Router wybiera podsieci dla danego fragmentu, oszczędzając obliczenia; wszystkie ustawienia nadal trzeba przechowywać, a wybór może nierówno obciążać sprzęt.
A router selects subnetworks for each element, saving computation; all parameters still need storage, and selection can unevenly load the hardware.
Serwer kieruje kolejne fragmenty pytania do wybranych części modelu zamiast uruchamiać całą jego pulę podsieci.
A server routes question fragments to selected model components instead of activating its entire subnetwork pool.