# Mixture of Experts (MoE) — mieszanka ekspertów

EN: **Mixture of Experts (MoE)** · id `moe` · aliases: MoE, mixture of experts, mieszanka ekspertów, sparse MoE, expert routing, Switch Transformer, Mixtral

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Sieci i modele generatywne](https://aiatlasgraph.com/t/neural.md) › [Architektury efektywne](https://aiatlasgraph.com/t/efficientarch.md) › Mixture of Experts (MoE) — mieszanka ekspertów

## Description

- PL: Warstwy z wieloma podsieciami-„ekspertami”, w których router kieruje każdy token tylko do wybranej części ekspertów. Rzadkie aktywowanie parametrów może obniżyć koszt obliczeń na token względem gęstego modelu o podobnej liczbie wszystkich parametrów, ale pozostawia koszty przechowywania wag, komunikacji i równoważenia obciążenia.
- EN: Layers containing many expert subnetworks, where a router sends each token to only a selected subset. Sparse parameter activation can reduce compute per token compared with a dense model of similar total parameter count, while weight storage, communication and load balancing remain important costs.

## In one sentence

- PL: To model z wieloma podsieciami, który dla każdego fragmentu danych uruchamia tylko wybrane z nich.
- EN: This model contains many subnetworks but activates only selected ones for each data element.

## Problem it solves

- PL: Wykorzystanie wszystkich części wielkiego modelu przy każdym słowie kosztuje zbyt wiele obliczeń.
- EN: Using every part of a large model for each word requires too much computation.

## What it does

- PL: Router wybiera podsieci dla danego fragmentu, oszczędzając obliczenia; wszystkie ustawienia nadal trzeba przechowywać, a wybór może nierówno obciążać sprzęt.
- EN: A router selects subnetworks for each element, saving computation; all parameters still need storage, and selection can unevenly load the hardware.

## Everyday example

- PL: Serwer kieruje kolejne fragmenty pytania do wybranych części modelu zamiast uruchamiać całą jego pulę podsieci.
- EN: A server routes question fragments to selected model components instead of activating its entire subnetwork pool.

## This concerns you if you…

- PL: chcesz zmniejszyć obliczenia dużego modelu
- PL: masz pamięć potrzebną do przechowania wielu podsieci
- EN: want to reduce a large model's computation
- EN: have enough memory to store many subnetworks

## Keywords

top-k routing · expert load balancing · shared experts · active parameters · auxiliary routing loss · expert capacity

## How it works

- PL: Router wyznacza wagi i wybiera ekspertów obsługujących dany token, a ich wyjścia łączy się w reprezentację. Trening dopasowuje ekspertów i routing, z dodatkowymi mechanizmami kontroli przeciążenia oraz rozdziału tokenów.
- EN: A router assigns weights and selects experts for each token, combining their outputs into a representation. Training fits experts and routing, with additional mechanisms controlling overload and token distribution.

## Limits

- PL: Wszystkie wagi nadal trzeba przechowywać, choć aktywna jest ich część. Nierówne obciążenie i komunikacja między urządzeniami ograniczają zysk; limity pojemności mogą wymagać odrzucania lub przekierowania tokenów.
- EN: All weights still require storage despite partial activation. Uneven load and inter-device communication limit gains; capacity limits can require dropping or rerouting tokens.

## Key terms

- PL: **router**: Moduł wybierający ekspertów i ich udział w przetwarzaniu tokenu.
- PL: **równoważenie obciążenia**: Kontrola rozdziału tokenów zapobiegająca przeciążeniu części ekspertów.
- EN: **router**: A module selecting experts and their contributions to token processing.
- EN: **load balancing**: Controlling token distribution to prevent overloading some experts.

## Know first

- [Perceptron wielowarstwowy (MLP) (Multilayer perceptron (MLP))](https://aiatlasgraph.com/t/mlp.md)
- [Uczenie nadzorowane (Supervised learning)](https://aiatlasgraph.com/t/supervised.md)

## Examples

- PL: router top-k · równoważenie obciążenia ekspertów · ekspert współdzielony · parametry całkowite vs aktywne
- EN: top-k router · expert load balancing · shared expert · total vs active parameters

## Related topics

Untyped, symmetric "see also" links.

- [Strategie zrównoleglania treningu (Training parallelism strategies)](https://aiatlasgraph.com/t/parallelism.md)

## Sources

- [The Big LLM Architecture Comparison — From DeepSeek V3 to GLM-5](<https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison>) `raschka-llm-arch-comparison` · by Sebastian Raschka
- [Mixture of Experts Explained](<https://huggingface.co/blog/moe>) `hf-moe-explained-2023` · by Omar Sanseviero, Lewis Tunstall, Philipp Schmid, Sourab Mangrulkar, Younes Belkada, Pedro Cuenca (Hugging Face) · sponsored
- [Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity](<https://arxiv.org/abs/2101.03961>) `switch-transformer-2021` · by William Fedus, Barret Zoph, Noam Shazeer
- [Mixtral of Experts](<https://arxiv.org/abs/2401.04088>) `mixtral-2024` · by Albert Q. Jiang, Alexandre Sablayrolles, Antoine Roux, Arthur Mensch i in. (Mistral AI) · sponsored
- [Qwen3-Next-80B-A3B-Instruct — model card](<https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct>) `qwen3-next-model-card` · by Qwen Team (Alibaba) · sponsored

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/moe · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30