# Uruchamianie własnych modeli EN: **Self-hosted model inference** · id `selfhosting` Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › Uruchamianie własnych modeli ## Description - PL: Udostępnienie modelu z własnymi wagami przez lokalny runtime lub serwer. - EN: Serving a model with your own weights from a local runtime or server. ## In one sentence - PL: To uruchamianie modelu na wybranym przez siebie sprzęcie i udostępnianie go własnym aplikacjom. - EN: This runs a model on hardware you choose and makes it available to your applications. ## Problem it solves - PL: Potrzebujesz kontroli nad miejscem działania, wersją lub dostępem, której nie daje ci cudza usługa. - EN: You need control over location, version or access that an external service does not provide. ## What it does - PL: Dobierasz model i pamięć, uruchamiasz środowisko obsługi, a następnie zarządzasz zapytaniami, dostępem i dostępną mocą. - EN: You choose a model and memory capacity, run a serving environment, then manage requests, access and available resources. ## Everyday example - PL: Zespół uruchamia model na własnym serwerze i podłącza do niego wewnętrznego asystenta dokumentów. - EN: A team runs a model on its own server and connects an internal document assistant to it. ## This concerns you if you… - PL: chcesz kontrolować miejsce i wersję modelu - PL: masz sprzęt oraz możliwość utrzymania usługi - EN: want control over model location and version - EN: have hardware and can maintain a service ## Keywords vLLM · SGLang · llama.cpp · GGUF · model runtimes · GPU memory budgeting · OpenAI-compatible endpoints · deployment configuration · autoscaling · Prometheus ## How it works - PL: Wagi i konfigurację ładuje się do zgodnego runtime, który udostępnia generowanie lokalnie lub przez serwer. Operator zarządza pamięcią, współbieżnością, wersjami oraz kontrolą dostępu, łącząc model z monitoringiem i zasobami wykonania. - EN: Weights and configuration are loaded into a compatible runtime providing local or server-based generation. Operators manage memory, concurrency, versions and access controls, connecting models to monitoring and execution resources. ## Limits - PL: Własne wagi wymagają zgodnych operatorów, formatu i zasobów. Utrzymanie, aktualizacje oraz obciążenie pozostają obowiązkiem operatora; lokalne wykonanie nie zabezpiecza automatycznie logów ani narzędzi. - EN: Self-managed weights need compatible operators, formats and resources. Maintenance, updates and load remain operator responsibilities; local execution cannot automatically secure logs or tools. ## Key terms - PL: **runtime modelu**: Oprogramowanie interpretujące graf i wykonujące operacje na dostępnym sprzęcie. - PL: **konfiguracja wdrożenia**: Wersja modelu i ustawienia zasobów oraz zachowania serwera. - EN: **model runtime**: Software interpreting graphs and executing operations on available hardware. - EN: **deployment configuration**: Model versions and settings for resources and server behaviour. ## Know first - [Dokumentacja modeli i danych (karty modeli) (Model and dataset documentation)](https://aiatlasgraph.com/t/modeldocs.md) - [Profilowanie i optymalizacja kerneli (Kernel profiling and optimisation)](https://aiatlasgraph.com/t/profiling.md) ## Examples - PL: Open-weight · endpoint · runtime · GGUF ## Subtopics (4 direct, 4 in total) - [Autoskalowanie i zimny start wdrożeń (Autoscaling model deployments and cold starts)](https://aiatlasgraph.com/t/autoscaling.md): Matching the number of model replicas to bursty traffic, including scale-to-zero. For GPU deployments, one major challenge is cold start: provisioning a machine, pulling the image and loading model weights. - [Lokalne uruchamianie LLM na własnym komputerze (Running LLMs locally on consumer hardware)](https://aiatlasgraph.com/t/localllm.md): Running open models on a laptop or desktop computer. One common path uses quantised GGUF files and selects a quantisation level that fits available memory; a local API server is an optional way to expose the model to applications. - [Silniki serwowania modeli językowych (LLM) (LLM inference engines and servers)](https://aiatlasgraph.com/t/inferenceengines.md): Server software for serving LLMs efficiently to many users. Depending on the implementation, it may combine continuous batching, paged KV cache and shared-prefix reuse, and often exposes APIs compatible with popular interfaces plus metrics. - [Szacowanie pamięci GPU (wagi i KV cache) (Estimating GPU memory for deployment)](https://aiatlasgraph.com/t/gpumemory.md): Working out how much GPU memory a deployment needs: weights (parameters × bytes per parameter at a given precision) plus a KV cache that grows with context length and concurrent requests, plus headroom for overhead. ## Related topics Untyped, symmetric "see also" links. - [Bezpieczeństwo łańcucha dostaw modeli (AI model supply chain security)](https://aiatlasgraph.com/t/supplychain.md) - [Budować czy kupić: API, model otwarty czy gotowe narzędzie (Build vs buy for AI capabilities)](https://aiatlasgraph.com/t/buildvsbuy.md) - [Ciągłe batchowanie (Continuous batching)](https://aiatlasgraph.com/t/contbatch.md) - [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md) - [Szablony czatu i formaty rozmów (Chat templates and conversation formats)](https://aiatlasgraph.com/t/chattemplates.md) ## Courses - [Fast & Efficient LLM Inference with vLLM]() ## Sources - [Stanford CS336 · Language Modeling from Scratch (2025)]() `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training. - [Full Stack Deep Learning (2022, archiwum)]() `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka. - [FSDL · LLM Bootcamp (2023, archiwum)]() `bootcamp` · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps. - [DeepLearning.AI — course catalogue]() `dlai` · course catalogue: 42 topic labels with counts, about 130 courses. - [LLM Course (Maxime Labonne)]() `mlabonne-llm-course` · by Maxime Labonne --- AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/selfhosting · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30