AI lokalnie i na urządzeniach

Edge and on-device AI · id edge

Uruchamianie przy ograniczonym sprzęcie i bez stałej chmury.

Running on limited hardware and without a permanent cloud.

In one sentence

To uruchamianie modeli blisko użytkownika lub czujnika, na urządzeniach z ograniczonymi zasobami.

This runs models close to users or sensors on devices with limited resources.

Problem it solves

Połączenie z serwerem bywa niedostępne, powolne lub niepożądane przy przetwarzaniu lokalnych danych.

A server connection can be unavailable, slow or undesirable for processing local data.

What it does

Mały model, oszczędny zapis i odpowiednie środowisko pozwalają wykonywać zadania na miejscu, z uwzględnieniem pamięci, energii i szybkości.

Small models, compact representations and suitable runtimes perform tasks locally while accounting for memory, energy and speed.

Everyday example

Czujnik rozpoznaje nietypowy dźwięk maszyny na miejscu i wysyła tylko informację o wykrytym zdarzeniu.

A sensor recognises an unusual machine sound locally and sends only a detected-event notification.

This concerns you if you…

• urządzenie nie ma stałego połączenia z serwerem
• potrzebujesz przetwarzania przy źródle danych
• use devices without a constant server connection
• need processing near the data source

Examples

• Telefon · laptop · edge
• Phone · laptop · edge

Subtopics

• Eksport modeli i środowiska uruchomieniowe na urządzeniach (Model export and on-device runtimes): Moving a trained model from a training framework into a lightweight runtime on a phone, browser or embedded device: exporting or converting it to a supported format and delegating compute to the CPU, GPU or NPU.
• Modele językowe na telefonie i laptopie (On-device language models): Language models optimised to run locally on a phone or laptop, often using an NPU, quantisation and other memory-saving techniques. On-device processing can keep data local and support offline use; hybrid architectures may route selected requests to a cloud model.
• TinyML — modele na mikrokontrolerach (TinyML on microcontrollers): Running neural networks on microcontrollers with kilobytes of memory and milliwatts of power: co-designing tiny architectures with a lean inference engine, and quantising to 8 bits or fewer.

Related topics

• Detektory jednoetapowe (YOLO) (Single-stage object detectors)
• Uczenie federacyjne (Federated learning)

Sources

• Stanford CS336 · Language Modeling from Scratch (2025) · reference: Budowa modeli, dane, trening, systemy, inferencja i post-training.
• Full Stack Deep Learning (2022, archiwum) · reference: Pełny cykl systemu ML: dane, testy, wdrażanie, monitoring, zespoły i etyka.
• FSDL · LLM Bootcamp (2023, archiwum) · reference: Aplikacje LLM, prompting, retrieval, UX i LLMOps.
• DeepLearning.AI — course catalogue · course catalogue: 42 topic labels with counts, about 130 courses.
• MIT 6.5940: TinyML and Efficient Deep Learning Computing (Fall 2024) · Song Han (MIT HAN Lab)