Disaggregated prefill and decode · id disaggregation · aliases: disaggregated serving, prefill-decode disaggregation, PD disaggregation, rozdzielony prefill i decode, phase splitting
Przetwarzanie promptu (prefill, ograniczony obliczeniami) i generowanie tokenów (decode, ograniczone pamięcią) na osobnych pulach GPU z przesyłaniem KV cache między nimi, by stroić czas do pierwszego tokenu i czas na token niezależnie.
Running prompt processing (prefill, compute-bound) and token generation (decode, memory-bound) on separate GPU pools, transferring the KV cache between them, so TTFT and per-token latency can be tuned independently.
In one sentence
To przetwarzanie pytania i dopisywanie odpowiedzi na osobnych grupach urządzeń.
This processes prompts and generates responses on separate device groups.
Problem it solves
Długie nowe pytania konkurują o sprzęt z rozmowami, które właśnie czekają na kolejne słowa odpowiedzi.
Long new prompts compete for hardware with conversations waiting for the next response elements.
What it does
Pierwsza grupa przygotowuje zapis wejścia, przekazuje go drugiej, a każdą fazę można osobno dopasować do ruchu i zasobów.
One group prepares the input representation and passes it to another, letting each phase be tuned separately to traffic and resources.
Everyday example
Serwer kieruje czytanie długich dokumentów do jednej puli urządzeń, a bieżące generowanie odpowiedzi do drugiej.
A server sends long-document processing to one device pool and ongoing response generation to another.
This concerns you if you…
ruch miesza długie pytania i trwające odpowiedzi
chcesz osobno skalować fazy obsługi modelu
serve both long prompts and ongoing responses
want to scale serving phases separately
Examples
osobne pule prefill i decode · transfer KV cache · routing świadomy KV cache · optymalizacja pod goodput
separate prefill and decode pools · KV-cache transfer · KV-aware routing · goodput optimisation