Dekodowanie spekulatywne

Speculative decoding · id specdec

Tani model zgaduje kilka tokenów naprzód, duży tylko je sprawdza.

A cheap model guesses several tokens ahead; the big one only verifies them.

In one sentence

To przyspieszanie odpowiedzi przez przygotowanie kilku fragmentów z wyprzedzeniem i sprawdzenie ich przez docelowy model.

This accelerates responses by drafting several elements ahead and having the target model verify them.

Problem it solves

Duży model generuje tekst po jednym kawałku, choć wiele kolejnych fragmentów jest łatwych do przewidzenia.

A large model generates text one piece at a time, even when many upcoming elements are easy to predict.

What it does

Tańszy model proponuje ciąg dalszy, a docelowy sprawdza kilka propozycji razem i odrzuca niepasującą część zgodnie z regułą wyboru.

A cheaper model drafts continuations, while the target checks proposals together and rejects unsuitable portions according to the sampling rule.

Everyday example

Asystent szybciej przygotowuje rutynową odpowiedź, gdy większy model przyjmuje wiele fragmentów szkicu z jednej wspólnej kontroli.

An assistant produces a routine response faster when the larger model accepts several draft elements in one shared check.

This concerns you if you…

Examples

Sources