Głębokość rekurencyjna

Recurrent-depth language models · id recurrentdepth · aliases: Huginn, latent recurrent depth

Model językowy skaluje obliczenia odpowiedzi przez rozwijanie współdzielonego bloku rekurencyjnego w przestrzeni ukrytej.

A language model scales answer compute by unrolling a shared recurrent block in hidden space.

In one sentence

Model językowy powtarza jeden blok tyle razy, ile potrzebuje, bez dopisywania słów pośrednich.

A language model repeats one block as many times as it needs, without writing intermediate words.

Problem it solves

Więcej tokenów myślenia wydłuża odpowiedź i okno, a nie każde rozumowanie da się zapisać słowami.

More thinking tokens lengthen the answer and the window, and not all reasoning can be written in words.

What it does

Ten sam blok rozwija się w kolejne przejścia w przestrzeni ukrytej, a liczba przejść rośnie dopiero przy odpowiedzi.

The same block unrolls into further passes in hidden space, and the pass count grows only at answer time.

Everyday example

Przy zadaniu z kilkoma warunkami model przelicza blok wiele razy i wypisuje sam wynik.

On a task with several constraints the model reruns the block many times and writes only the result.

This concerns you if you…

Related topics

Sources