Ciągłe myśli

Continuous chain of thought · id coconut · aliases: Coconut, continuous thought, chain of continuous thought

Łańcuch rozumowania, w którym stan ukryty wraca jako embedding, bez dekodowania na token.

A reasoning chain in which the hidden state returns as an embedding, without decoding to a token.

In one sentence

Model przekazuje sobie ukryty stan dalej, zamiast zamieniać każdy krok na słowo.

A model passes a hidden state onward, instead of turning each step into a word.

Problem it solves

Słowa pośrednie zajmują miejsce i zmuszają model do wyboru jednej ścieżki za wcześnie.

Intermediate words take space and force the model to pick one path too early.

What it does

Ostatni stan ukryty wraca jako następne wejście, więc kilka możliwości może zostać w jednej myśli.

The last hidden state returns as the next input, so several options can stay in one thought.

Everyday example

Przy planie z rozgałęzieniami model kilka razy podaje sobie stan liczbowy, a słowa wypisuje dopiero na końcu.

On a branching plan the model passes a numeric state to itself several times, and writes words only at the end.

This concerns you if you…

Related topics

Sources