Projekt warstwy MoE z wieloma mniejszymi ekspertami (więcej aktywnych na token przy tym samym koszcie) i ekspertami współdzielonymi aktywnymi zawsze, by zwiększyć specjalizację.
An MoE layer design with many smaller experts (more active per token at the same cost) and always-active shared experts, to increase specialisation.
Model dzieli wiedzę między wielu małych specjalistów i kilku stałych „ogólniaków”, którzy pracują przy każdym słowie.
The model splits knowledge among many small specialists and a few permanent generalists who work on every word.
W zwykłych modelach z ekspertami każdy ekspert uczy się po trochu wszystkiego, więc wiedza się powiela i marnuje miejsce.
In ordinary expert models each expert learns a bit of everything, so knowledge is duplicated and wastes space.
Jak przychodnia: lekarz rodzinny widzi każdego pacjenta, a spośród wielu wąskich specjalistów dobiera się tych pasujących do przypadku.
Like a clinic: the family doctor sees every patient, while the right few out of many narrow specialists are matched to each case.
Przy pytaniu o chemię organiczną włączają się małe, wyspecjalizowane części modelu, a ogólna znajomość języka działa zawsze w tle.
For an organic chemistry question, small specialised parts of the model switch on, while general language knowledge always runs in the background.