Pętle głębokości i myśli ukryte

Recurrent depth and latent thoughts · id latentloops · aliases: latent reasoning, looped depth, myślenie w przestrzeni ukrytej

Skalowanie obliczeń przy odpowiedzi przez powtórzenie bloku albo ciągły stan, nie przez dodatkowe tokeny.

Scaling answer-time compute by repeating a block or a continuous state, not by extra tokens.

In one sentence

Model powtarza ten sam blok albo myśli liczbami, zamiast dopisywać kolejne słowa.

A model repeats the same block or thinks in numbers, instead of appending more words.

Problem it solves

Dłuższy zapis kroków słowami jest drogi, a część rozumowania źle mieści się w tekście.

A longer written trace is costly, and some reasoning fits poorly in text.

What it does

Ten sam fragment sieci liczy się wielokrotnie albo ukryty stan wraca jako następne wejście, bez nowego słowa.

The same network block runs many times, or a hidden state returns as the next input, without a new word.

Everyday example

Przy układance logicznej model kilka razy przelicza ten sam blok, zanim wypisze krótką odpowiedź.

On a logic puzzle the model reruns the same block several times before writing a short answer.

This concerns you if you…

Subtopics

Related topics

Sources