# Modele językowe na telefonie i laptopie EN: **On-device language models** · id `ondevicellm` · aliases: on-device LLM, LLM na urządzeniu, mobile LLM, small language models on device, hybrid on-device and cloud inference Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [AI lokalnie i na urządzeniach](https://aiatlasgraph.com/t/edge.md) › Modele językowe na telefonie i laptopie ## Description - PL: Modele językowe zoptymalizowane do działania lokalnie na telefonie lub laptopie, często z użyciem NPU, kwantyzacji i innych technik oszczędzania pamięci. Przetwarzanie na urządzeniu może utrzymywać dane lokalnie i umożliwiać pracę offline; architektury hybrydowe mogą kierować wybrane żądania do modelu chmurowego. - EN: Language models optimised to run locally on a phone or laptop, often using an NPU, quantisation and other memory-saving techniques. On-device processing can keep data local and support offline use; hybrid architectures may route selected requests to a cloud model. ## In one sentence - PL: To modele językowe dopasowane do pracy bezpośrednio na telefonie lub laptopie. - EN: These language models are adapted to run directly on phones or laptops. ## Problem it solves - PL: Chcesz odpowiedzi na urządzeniu, ale duży model zużywa zbyt dużo pamięci, energii lub czasu. - EN: You want on-device responses, but a large model uses too much memory, energy or time. ## What it does - PL: Mniejsze konstrukcje i oszczędne obliczenia korzystają z dostępnych układów; lokalne działanie może być łączone z serwerem dla wybranych zadań. - EN: Smaller designs and efficient computation use available chips; local execution can be combined with server processing for selected tasks. ## Everyday example - PL: Telefon podsumowuje krótki zapis rozmowy lokalnym modelem, nawet gdy jesteś poza zasięgiem. - EN: A phone summarises a short conversation transcript with a local model even when you have no signal. ## This concerns you if you… - PL: chcesz funkcji językowych bez stałego internetu - PL: pamięć i bateria urządzenia są ograniczone - EN: want language features without constant internet access - EN: work within limited device memory and battery capacity ## Keywords MobileLLM · Gemini Nano · Apple Foundation Models · sub-billion parameter models · local-cloud routing · thermal throttling · LoRA adapters ## How it works - PL: Skompresowane wagi i stan dekodera mieszczą się w budżecie pamięci urządzenia, a runtime wybiera obsługiwane ścieżki sprzętowe. Prefill i kolejne tokeny korzystają z lokalnego kontekstu; wariant hybrydowy może przekazywać wybrane zadania do usługi zewnętrznej. - EN: Compressed weights and decoder state fit device memory budgets, while runtimes select supported hardware paths. Prefill and subsequent tokens use local context; hybrid variants can send selected tasks to external services. ## Limits - PL: Długi kontekst, bateria i temperatura ograniczają wydajność. Operator niedostępny na akceleratorze może trafić na procesor; prywatność zależy także od logów i ścieżek chmurowych aplikacji. - EN: Long contexts, battery and temperature limit performance. Operators unavailable on accelerators can fall back to processors; privacy also depends on application logs and cloud paths. ## Key terms - PL: **podział lokalny–chmurowy**: Reguła określająca miejsce wykonania danego żądania. - PL: **throttling termiczny**: Zmniejszenie wydajności obliczeń w celu ograniczenia temperatury urządzenia. - EN: **local–cloud split**: A rule determining where a request executes. - EN: **thermal throttling**: Reducing computation performance to limit device temperature. ## Know first - [Tokenizacja tekstu (BPE, WordPiece, SentencePiece) (Text tokenisation (BPE, WordPiece, SentencePiece))](https://aiatlasgraph.com/t/tokenization.md) - [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md) ## Examples - PL: modele systemowe w telefonach · architektury pod 1 mld parametrów · silna kwantyzacja i adaptery LoRA · podział pracy urządzenie–chmura - EN: system models on phones · sub-billion-parameter architectures · aggressive quantisation and LoRA adapters · device–cloud split ## Related topics Untyped, symmetric "see also" links. - [Destylacja (Knowledge distillation)](https://aiatlasgraph.com/t/distillation.md) - [Kwantyzacja wag i aktywacji (Weight and activation quantization)](https://aiatlasgraph.com/t/actquant.md) - [Wyspecjalizowane akceleratory AI (TPU, NPU) (Specialised AI accelerators (ASICs and NPUs))](https://aiatlasgraph.com/t/customaccelerators.md) ## Sources - [LiteRT (formerly TensorFlow Lite) — overview]() `litert-overview` · by Google AI Edge · sponsored - [MIT 6.5940: TinyML and Efficient Deep Learning Computing (Fall 2024)]() `mit-65940-efficientml` · by Song Han (MIT HAN Lab) - [MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases]() `mobilellm-2024` · by Zechun Liu, Changsheng Zhao, Forrest Iandola i in. (Meta) - [Apple Intelligence Foundation Language Models Tech Report 2025]() `apple-afm-2025` · by Apple · sponsored - [Gemini Nano (Android Developers)]() `android-gemini-nano` · by Google · sponsored - [Introducing the Third Generation of Apple’s Foundation Models]() `apple-afm3-2026` · by Apple · sponsored --- AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/ondevicellm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30