# Metryki wydajności inferencji LLM (TTFT, TPOT, przepustowość)

EN: **Inference performance metrics (TTFT, TPOT, throughput, goodput)** · id `inferencemetrics` · aliases: TTFT, time to first token, TPOT, inter-token latency, ITL, throughput, goodput, metryki inferencji

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Inferencja i infrastruktura](https://aiatlasgraph.com/t/systems.md) › [Serwowanie i dekodowanie](https://aiatlasgraph.com/t/serving.md) › Metryki wydajności inferencji LLM (TTFT, TPOT, przepustowość)

## Description

- PL: Podstawowe miary szybkości serwowania LLM: czas do pierwszego tokenu (TTFT), średni czas kolejnych tokenów wyjściowych (TPOT/ITL), przepustowość w tokenach lub zapytaniach na sekundę oraz goodput — liczba zapytań obsłużonych w granicach ustalonych SLO.
- EN: Core measures of LLM serving speed: time to first token (TTFT), average time for subsequent output tokens (TPOT/ITL), throughput in tokens or requests per second, and goodput — requests served within defined SLOs.

## In one sentence

- PL: To miary czasu oczekiwania, tempa odpowiedzi i liczby zapytań obsługiwanych przez model.
- EN: These measures track waiting time, response speed and the number of requests a model handles.

## Problem it solves

- PL: Słowo „szybki” nie mówi, czy użytkownik długo czeka na początek, wolno czyta dalszy tekst czy stoi w kolejce.
- EN: Calling a model fast does not reveal a slow start, sluggish text generation or long queues.

## What it does

- PL: Pomiar oddziela początek odpowiedzi, kolejne fragmenty, całkowity ruch i dotrzymane wymagania czasowe, pokazując różne ograniczenia obsługi.
- EN: Measurements separate response starts, later elements, overall traffic and met timing requirements, revealing different serving limits.

## Everyday example

- PL: Porównujesz serwery asystenta według czasu do pierwszej odpowiedzi i liczby rozmów obsłużonych bez przekroczenia ustalonego oczekiwania.
- EN: You compare assistant servers by time to the first response and conversations served within the agreed waiting limit.

## This concerns you if you…

- PL: porównujesz wydajność wdrożeń
- PL: chcesz mierzyć szybkość widzianą przez użytkownika
- EN: compare deployment performance
- EN: want to measure speed as users experience it

## Keywords

TTFT · TPOT · inter-token latency · tokens per second · requests per second · goodput · p99 latency · service-level objectives

## How it works

- PL: Znaczniki czasu mierzą oczekiwanie do pierwszego tokenu i odstępy dalszego strumienia, przy określonej granicy pomiaru. Rozkłady opóźnień zestawia się z przepustowością i goodput, aby oceniać obsługę ruchu w ustalonych wymaganiach.
- EN: Timestamps measure first-token waiting and subsequent stream intervals within a defined measurement boundary. Latency distributions are compared with throughput and goodput to evaluate traffic handling under specified requirements.

## Limits

- PL: Średnie ukrywają wolny ogon i różnice długości wejścia oraz wyjścia. Pomiar serwera może pomijać sieć i klienta; obciążenie testowe musi odpowiadać rzeczywistym zapytaniom.
- EN: Averages hide slow tails and input or output length differences. Server measurements can omit networks and clients; test loads must represent actual queries.

## Key terms

- PL: **TTFT**: Czas od ustalonego początku zapytania do pierwszego tokenu odpowiedzi.
- PL: **TPOT**: Średni czas generowania kolejnych tokenów po pierwszym.
- PL: **goodput**: Przepustowość obejmująca tylko zapytania spełniające ustalone wymagania jakości usługi.
- EN: **TTFT**: Time from a defined request start to its first response token.
- EN: **TPOT**: Average generation time for subsequent tokens after the first.
- EN: **goodput**: Throughput counting only requests meeting defined service requirements.

## Know first

- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)
- [Profilowanie i optymalizacja kerneli (Kernel profiling and optimisation)](https://aiatlasgraph.com/t/profiling.md)

## Examples

- PL: TTFT · TPOT / ITL · opóźnienie ≈ TTFT + TPOT × (liczba tokenów wyjściowych − 1) · goodput przy SLO
- EN: TTFT · TPOT / ITL · latency ≈ TTFT + TPOT × (output tokens − 1) · goodput under SLOs

## Related topics

Untyped, symmetric "see also" links.

- [Odczuwalna szybkość: strumieniowanie i wskaźniki postępu (Perceived latency and progress feedback)](https://aiatlasgraph.com/t/perceivedlatency.md)
- [Rozdzielenie fazy prefill i decode (Disaggregated prefill and decode)](https://aiatlasgraph.com/t/disaggregation.md)

## Sources

- [LLM Inference Performance Engineering: Best Practices](<https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices>) `databricks-llm-inference-perf` · by Megha Agarwal, Asfandyar Qureshi, Nikhil Sardana, Linden Li, Julian Quevedo, Daya Khudia (Databricks) · sponsored
- [Key metrics for LLM inference (LLM Inference Handbook)](<https://bentoml.com/llm/inference-optimization/llm-inference-metrics>) `bentoml-inference-metrics` · by BentoML · sponsored
- [DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving](<https://arxiv.org/abs/2401.09670>) `distserve-2024` · by Yinmin Zhong, Shengyu Liu, Junda Chen, Jianbo Hu, Yibo Zhu, Xuanzhe Liu, Xin Jin, Hao Zhang

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/inferencemetrics · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30