Użycie modelu językowego jako automatycznego ewaluatora w trybie punktowym, parami lub z odpowiedzią wzorcową.
Using a language model as an automatic evaluator in single-answer, pairwise or reference-guided mode.
Jeden model czyta odpowiedź innego i ocenia ją według podanych kryteriów, zamiast człowieka.
One model reads another model's answer and grades it against given criteria, in place of a person.
Ludzie nie nadążają czytać tysięcy odpowiedzi po każdej zmianie, a prosta reguła nie oceni tonu ani przydatności.
People cannot read thousands of answers after every change, and a simple rule cannot judge tone or usefulness.
Działa jak egzaminator z kluczem: dostaje pytanie, odpowiedź i kryteria, wystawia ocenę albo wybiera lepszą z dwóch wersji.
It works like an examiner with a marking key: given the question, answer and criteria, it scores it or picks the better of two versions.
Po zmianie instrukcji asystenta obsługi klienta drugi model w nocy ocenia pięćset rozmów i rano widzisz, które odpowiedzi zrobiły się mniej uprzejme.
After you change a support assistant's instructions, a second model grades five hundred conversations overnight, and by morning you see which replies became less polite.