Bramka (router) w warstwach MoE wybierająca top-k ekspertów na token oraz techniki wyrównywania obciążenia: pojemność ekspertów, strata pomocnicza i korekty biasu routera.
The gate (router) in MoE layers choosing top-k experts per token, plus load-balancing techniques: expert capacity, auxiliary loss and router-bias corrections.
Sposób, w jaki model z wieloma podsieciami-ekspertami decyduje, który z nich zajmie się danym kawałkiem tekstu.
How a model with many expert subnetworks decides which of them handles each piece of text.
Gdy prawie wszystko trafia do kilku ulubionych ekspertów, reszta się nie uczy, a sprzęt z nimi stoi bezczynnie.
When nearly everything goes to a few favourite experts, the rest never learn and their hardware sits idle.
Jak dyspozytor taksówek: kieruje kursy do najlepiej pasujących kierowców, ale pilnuje, żeby jedni nie mieli kolejki, a inni nie stali.
Like a taxi dispatcher: sends rides to the best-matching drivers while making sure no one has a queue and no one sits idle.
Pytanie o przepis kulinarny trafia do innych części modelu niż pytanie o kod, a obciążenie serwerów pozostaje wyrównane.
A recipe question goes to different parts of the model than a coding question, while server load stays even.