# AI lokalnie i na urządzeniach

EN: **Edge and on-device AI** · id `edge`

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › AI lokalnie i na urządzeniach

## Description

- PL: Uruchamianie przy ograniczonym sprzęcie i bez stałej chmury.
- EN: Running on limited hardware and without a permanent cloud.

## In one sentence

- PL: To uruchamianie modeli blisko użytkownika lub czujnika, na urządzeniach z ograniczonymi zasobami.
- EN: This runs models close to users or sensors on devices with limited resources.

## Problem it solves

- PL: Połączenie z serwerem bywa niedostępne, powolne lub niepożądane przy przetwarzaniu lokalnych danych.
- EN: A server connection can be unavailable, slow or undesirable for processing local data.

## What it does

- PL: Mały model, oszczędny zapis i odpowiednie środowisko pozwalają wykonywać zadania na miejscu, z uwzględnieniem pamięci, energii i szybkości.
- EN: Small models, compact representations and suitable runtimes perform tasks locally while accounting for memory, energy and speed.

## Everyday example

- PL: Czujnik rozpoznaje nietypowy dźwięk maszyny na miejscu i wysyła tylko informację o wykrytym zdarzeniu.
- EN: A sensor recognises an unusual machine sound locally and sends only a detected-event notification.

## This concerns you if you…

- PL: urządzenie nie ma stałego połączenia z serwerem
- PL: potrzebujesz przetwarzania przy źródle danych
- EN: use devices without a constant server connection
- EN: need processing near the data source

## Keywords

LiteRT · ExecuTorch · Core ML · INT8 inference · energy budgets · hardware delegates · local-cloud partitioning · MCUNet · quantization-aware training · offline inference

## How it works

- PL: Model przygotowuje się do lokalnego wykonania przez eksport, kompresję i dobór operatorów do sprzętu. Harmonogram, buforowanie i ograniczenie pamięci dostosowują inferencję do energii, połączenia oraz wymaganej reakcji urządzenia.
- EN: Models are prepared for local execution through export, compression and hardware-matched operators. Scheduling, buffering and memory limits adapt inference to device energy, connectivity and response requirements.

## Limits

- PL: Energia, temperatura i pamięć ograniczają długie lub intensywne zadania. Eksport może zmieniać wynik numeryczny; lokalny model nie eliminuje transmisji danych przez pozostałe komponenty aplikacji.
- EN: Energy, temperature and memory constrain long or intensive tasks. Export can change numerical outputs; local models cannot eliminate data transmission by other application components.

## Key terms

- PL: **inferencja lokalna**: Wykonanie modelu na urządzeniu obsługującym dane zadanie.
- PL: **budżet energetyczny**: Dopuszczalne zużycie energii dla obliczeń i transferów urządzenia.
- EN: **local inference**: Running a model on the device handling the task.
- EN: **energy budget**: Permitted energy use for device computation and transfers.

## Know first

- [Kwantyzacja samych wag (Weight-only quantization)](https://aiatlasgraph.com/t/weightquant.md)
- [Profilowanie i optymalizacja kerneli (Kernel profiling and optimisation)](https://aiatlasgraph.com/t/profiling.md)

## Examples

- PL: Telefon · laptop · edge
- EN: Phone · laptop · edge

## Subtopics (3 direct, 3 in total)

- [Eksport modeli i środowiska uruchomieniowe na urządzeniach (Model export and on-device runtimes)](https://aiatlasgraph.com/t/ondeviceruntimes.md): Moving a trained model from a training framework into a lightweight runtime on a phone, browser or embedded device: exporting or converting it to a supported format and delegating compute to the CPU, GPU or NPU.
- [Modele językowe na telefonie i laptopie (On-device language models)](https://aiatlasgraph.com/t/ondevicellm.md): Language models optimised to run locally on a phone or laptop, often using an NPU, quantisation and other memory-saving techniques. On-device processing can keep data local and support offline use; hybrid architectures may route selected requests to a cloud model.
- [TinyML — modele na mikrokontrolerach (TinyML on microcontrollers)](https://aiatlasgraph.com/t/tinyml.md): Running neural networks on microcontrollers with kilobytes of memory and milliwatts of power: co-designing tiny architectures with a lean inference engine, and quantising to 8 bits or fewer.

## Related topics

Untyped, symmetric "see also" links.

- [Detektory jednoetapowe (YOLO) (Single-stage object detectors)](https://aiatlasgraph.com/t/onestagedetectors.md)
- [Uczenie federacyjne (Federated learning)](https://aiatlasgraph.com/t/federated.md)

## Sources

- [Stanford CS336 · Language Modeling from Scratch (2025)](<https://cs336.stanford.edu/spring2025/>) `cs336` · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
- [Full Stack Deep Learning (2022, archiwum)](<https://fullstackdeeplearning.com/course/2022/>) `fsdl` · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
- [FSDL · LLM Bootcamp (2023, archiwum)](<https://fullstackdeeplearning.com/llm-bootcamp/spring-2023/>) `bootcamp` · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
- [DeepLearning.AI — course catalogue](<https://www.deeplearning.ai/courses>) `dlai` · course catalogue: 42 topic labels with counts, about 130 courses.
- [MIT 6.5940: TinyML and Efficient Deep Learning Computing (Fall 2024)](<https://hanlab.mit.edu/courses/2024-fall-65940>) `mit-65940-efficientml` · by Song Han (MIT HAN Lab)

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/edge · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30