Obliczenia w czasie wnioskowania

Test-time compute scaling · id testtime

Dawanie modelowi większego budżetu obliczeń przy odpowiedzi — bez zmiany wag: wiele prób naraz, kolejne poprawki, przeszukiwanie z weryfikatorem albo po prostu dłuższe myślenie.

Giving a model a bigger compute budget at answer time — without changing weights: many attempts in parallel, successive revisions, verifier-guided search, or simply thinking longer.

In one sentence

To poświęcanie dodatkowych obliczeń na przygotowanie odpowiedzi bez ponownego uczenia modelu.

This spends additional computation preparing an answer without retraining the model.

Problem it solves

Jedna szybka próba nie wystarcza w trudnym zadaniu, ale nie możesz zmieniać samego modelu.

One quick attempt is insufficient for a difficult task, but you cannot change the model itself.

What it does

System może wydłużyć rozumowanie, wygenerować kilka prób, poprawiać odpowiedź lub przeszukiwać kroki z oceną ich jakości.

A system can extend reasoning, generate several attempts, revise an answer or search through evaluated solution steps.

Everyday example

Przy trudnym planie pakowania dajesz modelowi więcej czasu na próby i sprawdzasz wybrane rozwiązanie.

For a difficult packing plan, you give a model more time for attempts and check the selected solution.

This concerns you if you…

• trudne zadania wymagają więcej prób
• możesz zamienić dodatkowy koszt na szansę lepszej odpowiedzi
• handle difficult tasks needing more attempts
• can trade extra cost for potentially better answers

Examples

• równolegle · sekwencyjnie · hybrydowo · MCTS · PRM
• parallel · sequential · hybrid · MCTS · PRM

Subtopics

• Iteracyjne poprawianie odpowiedzi (Sequential self-revision): The model reviews and revises its own answer in turns, each version building on the previous — compute grows in depth rather than width.
• Przeszukiwanie kroków z weryfikatorem (Verifier-guided search): The solution is built step by step while a verifier (e.g. a process reward model) scores partial paths and decides which to expand.
• Sterowanie budżetem myślenia (Thinking budget control): Explicitly setting how many tokens or how much time the model may spend reasoning — via a parameter, a cap, or forcing it to stop or continue thinking.
• Wiele prób i głosowanie (Parallel sampling and voting): The model generates many independent solutions in parallel; the answer is picked by majority vote (self-consistency) or by a verifier score (best-of-N).

Related topics

• Głębokość rekurencyjna (Recurrent-depth language models)
• Modele nagrody (Reward models)
• Planowanie z przeszukiwaniem drzewa (AlphaZero, MuZero) (Tree-search planning with learned models)
• Prawa skalowania i budżet obliczeń (Scaling laws and compute-optimal training)
• Przeszukiwanie i planowanie (Search and planning)
• Pętle głębokości i myśli ukryte (Recurrent depth and latent thoughts)
• Uczenie w czasie testu (Test-time training)

Sources

• LLM Course (Maxime Labonne) · Maxime Labonne
• Understanding Reasoning LLMs · Sebastian Raschka
• A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well? · Qiyuan Zhang, Fuyuan Lyu, Zexu Sun, Lei Wang i in.
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters · Charlie Snell, Jaehoon Lee, Kelvin Xu, Aviral Kumar