# Silniki serwowania modeli językowych (LLM)

EN: **LLM inference engines and servers** · id `inferenceengines` · aliases: inference engine, inference server, silnik inferencji, vLLM, SGLang, TensorRT-LLM, PagedAttention

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [Uruchamianie własnych modeli](https://aiatlasgraph.com/t/selfhosting.md) › Silniki serwowania modeli językowych (LLM)

## Description

- PL: Oprogramowanie serwerowe do wydajnego udostępniania LLM wielu użytkownikom. Zależnie od implementacji może łączyć ciągłe batchowanie, stronicowany KV cache i ponowne użycie wspólnych prefiksów, a często udostępnia API zgodne z popularnymi interfejsami oraz metryki.
- EN: Server software for serving LLMs efficiently to many users. Depending on the implementation, it may combine continuous batching, paged KV cache and shared-prefix reuse, and often exposes APIs compatible with popular interfaces plus metrics.

## In one sentence

- PL: To programy serwerowe organizujące wydajną obsługę wielu zapytań do modeli językowych.
- EN: These server programs organise efficient handling of many language-model requests.

## Problem it solves

- PL: Proste uruchamianie modelu dla każdej prośby marnuje zasoby i trudno je rozbudować dla wielu użytkowników.
- EN: Running a model naively for every request wastes resources and is difficult to scale across many users.

## What it does

- PL: Silnik planuje wspólne obliczenia, zarządza pamięcią rozmów i udostępnia aplikacjom interfejs oraz pomiary; dostępne usprawnienia zależą od implementacji.
- EN: An engine schedules shared computation, manages conversation memory and exposes interfaces and measurements; available optimisations depend on the implementation.

## Everyday example

- PL: Zamiast osobnego skryptu dla każdej rozmowy uruchamiasz silnik, który rozdziela zapytania całego zespołu do jednego modelu.
- EN: Instead of a separate script per conversation, you run an engine that schedules a team's requests against one model.

## This concerns you if you…

- PL: udostępniasz model przez własny serwer
- PL: potrzebujesz planowania zapytań i pomiarów wydajności
- EN: serve a model from your own server
- EN: need request scheduling and performance measurements

## Keywords

vLLM · SGLang · TensorRT-LLM · PagedAttention · RadixAttention · OpenAI-compatible API · Prometheus metrics

## How it works

- PL: Silnik łączy obsługę zapytań z planowaniem kroków modelu i alokacją jego stanu. Zoptymalizowane kernele, dynamiczne partie oraz zarządzanie prefiksami przekształcają współbieżny ruch w pracę wykonywaną na urządzeniach.
- EN: An engine connects request handling to model-step scheduling and state allocation. Optimised kernels, dynamic batches and prefix management translate concurrent traffic into device execution.

## Limits

- PL: Obsługa architektur, formatów i funkcji różni się między silnikami. Ustawienia pamięci i harmonogramu wymagają strojenia; zgodny interfejs zapytań nie zapewnia identycznego dekodowania ani zachowania.
- EN: Architecture, format and feature support differ across engines. Memory and scheduling need tuning; compatible request interfaces do not guarantee identical decoding or behaviour.

## Key terms

- PL: **alokator stanu**: Mechanizm przydzielający pamięć reprezentacjom trwających zapytań.
- PL: **backend wykonania**: Warstwa dobierająca operatory i kernele do sprzętu.
- EN: **state allocator**: A mechanism allocating memory to active-request representations.
- EN: **execution backend**: A layer selecting operators and kernels for hardware.

## Know first

- [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md)
- [Mechanizm self-attention (zapytania, klucze, wartości) (Self-attention (queries, keys, values))](https://aiatlasgraph.com/t/selfattention.md)

## Examples

- PL: stronicowany KV cache (PagedAttention) · ponowne użycie prefiksu (RadixAttention) · endpointy /v1/chat/completions · metryki Prometheus
- EN: paged KV cache (PagedAttention) · prefix reuse (RadixAttention) · /v1/chat/completions endpoints · Prometheus metrics

## Related topics

Untyped, symmetric "see also" links.

- [Ciągłe batchowanie (Continuous batching)](https://aiatlasgraph.com/t/contbatch.md)
- [Zarządzanie KV cache (KV cache management)](https://aiatlasgraph.com/t/kvcache.md)

## Sources

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](<https://arxiv.org/abs/2309.06180>) `vllm-pagedattention-2023` · by Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, Ion Stoica
- [SGLang: Efficient Execution of Structured Language Model Programs](<https://arxiv.org/abs/2312.07104>) `sglang-2023` · by Lianmin Zheng, Liangsheng Yin, Zhiqiang Xie, Chuyue Sun, Jeff Huang, Cody Hao Yu, Shiyi Cao, Christos Kozyrakis, Ion Stoica, Joseph E. Gonzalez, Clark Barrett, Ying Sheng
- [OpenAI-Compatible Server / Online Serving — vLLM docs](<https://docs.vllm.ai/en/latest/serving/online_serving/>) `vllm-openai-server` · by Projekt vLLM · sponsored

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/inferenceengines · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30