Eksport modeli i środowiska uruchomieniowe na urządzeniach

Model export and on-device runtimes · id ondeviceruntimes · aliases: ONNX, ONNX Runtime, LiteRT, TensorFlow Lite, Core ML, ExecuTorch, model export, eksport modelu

Przeniesienie wytrenowanego modelu z frameworka treningowego do lekkiego środowiska uruchomieniowego na telefonie, w przeglądarce lub urządzeniu wbudowanym: eksport lub konwersja do obsługiwanego formatu oraz delegowanie obliczeń do CPU, GPU lub NPU.

Moving a trained model from a training framework into a lightweight runtime on a phone, browser or embedded device: exporting or converting it to a supported format and delegating compute to the CPU, GPU or NPU.

In one sentence

To przygotowanie modelu do działania w lekkim środowisku telefonu, przeglądarki lub małego urządzenia.

This prepares a model to run in a lightweight phone, browser or embedded-device environment.

Problem it solves

Model wyuczony w dużym środowisku treningowym nie działa automatycznie na sprzęcie użytkownika.

A model trained in a large training environment does not automatically run on a user's device.

What it does

Eksport lub konwersja zapisuje obsługiwane operacje, a środowisko uruchomieniowe kieruje je do dostępnego procesora lub akceleratora.

Export or conversion records supported operations, and a runtime directs them to the available processor or accelerator.

Everyday example

Przenosisz model rozpoznawania dźwięku do aplikacji telefonu i sprawdzasz zgodność operacji oraz czas działania.

You move a sound-recognition model into a phone app and check operation compatibility and runtime.

This concerns you if you…

Examples

Sources