Wyuczone wczesne zatrzymywanie nieudanych uruchomień agentów

Learned early stopping of failing agent runs · id stoploss · aliases: agent-run failure prediction, outcome-supervised agent early stopping, przewidywanie porażki uruchomienia agenta, wczesne zatrzymywanie agentów

Zewnętrzny mały model monitorujący, trenowany na zakończonych trajektoriach i wynikach weryfikatora, który przewiduje porażkę i przerywa uruchomienie.

External small monitor model trained on completed trajectories and verifier outcomes that predicts failure and aborts the run.

In one sentence

Mały zewnętrzny monitor uczy się rozpoznawać, kiedy uruchomienie agenta skończy się porażką, i przerywa je wcześniej.

A small external monitor learns to recognize when an agent run will fail and stops it early.

Problem it solves

Agenty kodujące kontynuują pracę na uruchomieniach, które i tak nie przejdą weryfikacji, marnując czas i pieniądze.

Coding agents keep working on runs that will fail verification, wasting time and money.

What it does

Monitor ocenia ostatnie kroki na podstawie okien akcji i obserwacji, a próg kalibrowany na udanych uruchomieniach decyduje o przerwaniu bez zmiany samego agenta.

The monitor scores recent steps from action-observation windows, and a threshold calibrated on successful runs decides the abort without changing the agent.

Everyday example

Przy naprawie błędu w repozytorium monitor po kilku krokach widzi, że agent kręci się w kółko, i zatrzymuje go, zanim zużyje cały budżet.

When fixing a repository bug, the monitor sees the agent looping after a few steps and stops it before the full budget is spent.

This concerns you if you…

Sources