Architektury efektywne

Efficient architectures · id efficientarch

Projektowanie modelu pod koszt i skalę.

Designing a model around cost and scale.

In one sentence

To projektowanie budowy modelu tak, żeby ograniczyć potrzebne obliczenia, pamięć lub koszt obsługi.

This designs model structures to reduce required computation, memory or serving cost.

Problem it solves

Duży model lub długa rozmowa przekracza pamięć urządzenia albo koszt, na który możesz sobie pozwolić.

A large model or long conversation exceeds your device's memory or your available budget.

What it does

Układ może wybierać tylko część sieci, zawężać uwagę albo przechowywać zwarty stan; każdy wybór wymaga sprawdzenia jakości i kosztów.

A design can activate selected components, narrow attention or retain compact state; each choice needs quality and cost checks.

Everyday example

Porównujesz modele o różnych konstrukcjach, mierząc jakość odpowiedzi i pamięć potrzebną na twoje rozmowy.

You compare differently structured models, measuring answer quality and the memory needed for your conversations.

This concerns you if you…

• koszt lub pamięć ogranicza użycie modelu
• porównujesz oszczędności wynikające z budowy sieci
• find cost or memory limits model use
• compare savings from different network designs

Examples

• Mixture of Experts · sparsity

Subtopics

• Architektury hybrydowe: uwaga + warstwy liniowe (Hybrid architectures: attention plus linear/recurrent layers): Models combining full-attention layers with recurrent, state-space or linear-attention layers. Fixed-size-state layers can reduce memory cost on long sequences, while periodic full-attention layers preserve direct interactions between distant tokens; exact ratios depend on the architecture.
• Mixture of Experts (MoE) — mieszanka ekspertów (Mixture of Experts (MoE)): Layers containing many expert subnetworks, where a router sends each token to only a selected subset. Sparse parameter activation can reduce compute per token compared with a dense model of similar total parameter count, while weight storage, communication and load balancing remain important costs.
• Modele przestrzeni stanów (Mamba) (State-space models (Mamba)): A family of sequence models that update a fixed-size state instead of storing a full attention matrix or KV cache. Mamba introduces a selective, input-dependent state mechanism; its authors report linear scaling with sequence length and competitive results across several modalities.
• Uwaga lokalna z przesuwnym oknem (Sliding-window (local) attention): Local attention in which a token interacts only with a bounded window of neighbouring tokens rather than the entire sequence. With a fixed window, total compute grows linearly with sequence length, and the KV memory used for generation can be bounded by the window size. Some architectures combine it with global or full attention.

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Stanford CS231n · Computer Vision (2026) · reference: Sieci neuronowe i rozumienie obrazów.
• Stanford CS229 · Machine Learning (2018, archiwum) · reference: Klasyczne ML, statystyka i podstawy uczenia. Użyte jako stabilny szkielet, nie przegląd nowości.