Programowa optymalizacja promptów

Programmatic prompt optimisation · id promptopt · aliases: prompt optimization, automatic prompt optimization, APO, optymalizacja promptów, automatyczna optymalizacja promptów

Automatyczne dobieranie promptów, a czasem wag, pod wynik ewaluacji.

Automatically tuning prompts, and sometimes weights, against an evaluation score.

In one sentence

To automatyczne szukanie poleceń i przykładów, które pomagają modelowi lepiej wykonywać wybrane zadanie.

This automatically searches for instructions and examples that help a model perform a chosen task better.

Problem it solves

Ręczne poprawianie poleceń zajmuje czas, a trudno ocenić, które zmiany rzeczywiście pomagają.

Editing instructions by hand takes time, and it is hard to tell which changes actually help.

What it does

Program próbuje różne wersje instrukcji na zadaniach testowych i wybiera te, które najlepiej spełniają przyjęte kryterium.

A program tests instruction variants on sample tasks and keeps those that perform best under a chosen scoring rule.

Everyday example

Asystent źle sortuje wiadomości; program porównuje wersje jego polecenia na wcześniej oznaczonych przykładach i wybiera skuteczniejszą.

An assistant misfiles messages, so a program compares instruction variants on previously labelled examples and picks one that scores better.

This concerns you if you…

Examples

Related topics

Sources