Monitorowanie łańcucha myśli

Chain-of-thought monitoring · id cotmonitoring

Analizowanie zapisanego łańcucha myśli modelu (automatycznie lub przez człowieka), by wykrywać sygnały niepożądanego zachowania. Użyteczność tej metody zależy m.in. od monitorowalności i wierności śladu rozumowania, które nie są gwarantowane.

Analysing a model's written chain of thought (automatically or by a human) to detect signals of undesirable behaviour. Its usefulness depends in part on the monitorability and faithfulness of the reasoning trace, which are not guaranteed.

In one sentence

To sprawdzanie zapisanego toku rozumowania modelu pod kątem sygnałów niepożądanego zachowania.

This examines a model's written reasoning for signs of unwanted behaviour.

Problem it solves

Końcowa odpowiedź może wyglądać poprawnie, choć dostępne kroki zawierają sygnały obchodzenia zasad.

A final response can look acceptable while available reasoning steps contain signs of rule evasion.

What it does

Człowiek lub model analizuje dostępny zapis, ale może przeoczyć zachowanie, którego ślad nie ujawnia wiernie.

A person or model analyses the available trace but can miss behaviour that the trace does not faithfully reveal.

Everyday example

Podczas testu przeglądasz dostępne kroki agenta i zauważasz wzmiankę o pominięciu wymaganego potwierdzenia działania.

During a test, you inspect an agent's available reasoning and notice a reference to skipping required action confirmation.

This concerns you if you…

Examples

Related topics

Sources