Metryki wydajności inferencji LLM (TTFT, TPOT, przepustowość)

Inference performance metrics (TTFT, TPOT, throughput, goodput) · id inferencemetrics · aliases: TTFT, time to first token, TPOT, inter-token latency, ITL, throughput, goodput, metryki inferencji

Podstawowe miary szybkości serwowania LLM: czas do pierwszego tokenu (TTFT), średni czas kolejnych tokenów wyjściowych (TPOT/ITL), przepustowość w tokenach lub zapytaniach na sekundę oraz goodput — liczba zapytań obsłużonych w granicach ustalonych SLO.

Core measures of LLM serving speed: time to first token (TTFT), average time for subsequent output tokens (TPOT/ITL), throughput in tokens or requests per second, and goodput — requests served within defined SLOs.

In one sentence

To miary czasu oczekiwania, tempa odpowiedzi i liczby zapytań obsługiwanych przez model.

These measures track waiting time, response speed and the number of requests a model handles.

Problem it solves

Słowo „szybki” nie mówi, czy użytkownik długo czeka na początek, wolno czyta dalszy tekst czy stoi w kolejce.

Calling a model fast does not reveal a slow start, sluggish text generation or long queues.

What it does

Pomiar oddziela początek odpowiedzi, kolejne fragmenty, całkowity ruch i dotrzymane wymagania czasowe, pokazując różne ograniczenia obsługi.

Measurements separate response starts, later elements, overall traffic and met timing requirements, revealing different serving limits.

Everyday example

Porównujesz serwery asystenta według czasu do pierwszej odpowiedzi i liczby rozmów obsłużonych bez przekroczenia ustalonego oczekiwania.

You compare assistant servers by time to the first response and conversations served within the agreed waiting limit.

This concerns you if you…

• porównujesz wydajność wdrożeń
• chcesz mierzyć szybkość widzianą przez użytkownika
• compare deployment performance
• want to measure speed as users experience it

Examples

• TTFT · TPOT / ITL · opóźnienie ≈ TTFT + TPOT × (liczba tokenów wyjściowych − 1) · goodput przy SLO
• TTFT · TPOT / ITL · latency ≈ TTFT + TPOT × (output tokens − 1) · goodput under SLOs

Related topics

• Odczuwalna szybkość: strumieniowanie i wskaźniki postępu (Perceived latency and progress feedback)
• Rozdzielenie fazy prefill i decode (Disaggregated prefill and decode)

Sources

• LLM Inference Performance Engineering: Best Practices · Megha Agarwal, Asfandyar Qureshi, Nikhil Sardana, Linden Li, Julian Quevedo, Daya Khudia (Databricks) · sponsored
• Key metrics for LLM inference (LLM Inference Handbook) · BentoML · sponsored
• DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving · Yinmin Zhong, Shengyu Liu, Junda Chen, Jianbo Hu, Yibo Zhu, Xuanzhe Liu, Xin Jin, Hao Zhang