Serwowanie i dekodowanie

Serving and decoding · id serving

Obsługa zapytań i generowanie odpowiedzi.

Handling requests and generating responses.

In one sentence

To organizowanie zapytań do modelu i wybieranie kolejnych fragmentów odpowiedzi, żeby sprawnie obsługiwać użytkowników.

This schedules model requests and selects successive response fragments to serve users efficiently.

Problem it solves

Wiele osób pyta jednocześnie, odpowiedzi mają różną długość, a pamięć i czas serwera są ograniczone.

Many people ask simultaneously, responses vary in length, and server memory and time are limited.

What it does

System grupuje pracę, zarządza pamięcią wcześniejszych obliczeń i dobiera generowanie, mierząc czas oczekiwania oraz liczbę obsłużonych zapytań.

A system groups work, manages cached computations and configures generation while measuring waiting times and handled request volumes.

Everyday example

Serwer asystenta obsługuje krótkie pytania razem z długimi rozmowami, dopasowując kolejkę i wykorzystanie pamięci.

An assistant server handles short questions alongside long conversations, adapting its queue and memory use.

This concerns you if you…

• udostępniasz model wielu osobom
• chcesz ograniczyć czas oczekiwania i koszt obsługi
• serve a model to many people
• want shorter waits and lower serving costs

Examples

• Batching · KV cache · sampling

Subtopics

• Ciągłe batchowanie (Continuous batching): Adding requests to a running batch instead of waiting for it to finish.
• Dekodowanie spekulatywne (Speculative decoding): A cheap model guesses several tokens ahead; the big one only verifies them.
• Metryki wydajności inferencji LLM (TTFT, TPOT, przepustowość) (Inference performance metrics (TTFT, TPOT, throughput, goodput)): Core measures of LLM serving speed: time to first token (TTFT), average time for subsequent output tokens (TPOT/ITL), throughput in tokens or requests per second, and goodput — requests served within defined SLOs.
• Rozdzielenie fazy prefill i decode (Disaggregated prefill and decode): Running prompt processing (prefill, compute-bound) and token generation (decode, memory-bound) on separate GPU pools, transferring the KV cache between them, so TTFT and per-token latency can be tuned independently.
• Serwowanie wielu adapterów LoRA na jednym modelu (Multi-LoRA serving): One base model in GPU memory serves requests for many fine-tuned variants at once: a LoRA adapter is selected per request, and adapters are loaded and swapped on the fly.
• Strategie dekodowania (Decoding strategies): How the next token is picked from the model's distribution.
• Zarządzanie KV cache (KV cache management): The attention cache during generation: paging, sharing, compression.

Related topics

• Odczuwalna szybkość: strumieniowanie i wskaźniki postępu (Perceived latency and progress feedback)

Courses

• Fast LLM Inference with Cerebras

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• FSDL · LLM Bootcamp (2023, archiwum) · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
• Performance Engineering for AI Infra — learning guide · GitHub repository · tiered curriculum (Tier 1–3) · MIT licence · Wafer (wafer-ai): Company material with a hiring note, but the evidence is mostly primary sources. Table of contents sieved: only topics became nodes; tiers kept as link labels.