Skalowalny nadzór (debata, weak-to-strong)

Scalable oversight · id scalableoversight

Metody nadzorowania modeli, które w danym zadaniu mogą przewyższać ludzi: człowiek wspierany przez asystenta AI, debata dwóch modeli oceniana przez człowieka, słabszy model nadzorujący silniejszy.

Methods for supervising models that may outperform humans on a task: humans assisted by an AI, a debate between two models judged by a human, a weaker model supervising a stronger one.

In one sentence

To sposoby oceniania modeli, gdy ich zadania przekraczają możliwości samodzielnej oceny człowieka.

These methods evaluate models when their tasks exceed what a person can assess unaided.

Problem it solves

Nie potrafisz samodzielnie sprawdzić całego trudnego rozwiązania, a model może działać sprawniej niż twój oceniający system.

You cannot check an entire difficult solution yourself, and a model may outperform your evaluation system.

What it does

Nadzór korzysta z pomocy innych modeli, podziału zadania lub porównania argumentów; te metody również mogą przeoczyć błędy.

Oversight uses other models, task decomposition or competing arguments; these methods can also miss errors.

Everyday example

Przy ocenie złożonego planu prosisz modele o wskazanie problemów i zestawienie argumentów, żeby ułatwić człowiekowi sprawdzenie.

When evaluating a complex plan, you ask models to identify issues and compare arguments to help a person inspect it.

This concerns you if you…

Examples

Related topics

Sources