Systematyczne błędy sędziów LLM (pozycja, rozwlekłość, autopreferencja) i techniki ich ograniczania.
Systematic errors of LLM judges (position, verbosity, self-preference) and techniques to reduce them.
Oceniający model ma swoje skrzywienia: woli odpowiedź pokazaną jako pierwszą, dłuższą albo podobną do własnej.
A grading model has its own skews: it may prefer the answer shown first, the longer one, or one that sounds like itself.
Wyniki automatycznej oceny mogą nagradzać gadulstwo albo przypadek kolejności, a nie lepszą odpowiedź.
Automatic grading can reward wordiness or the luck of ordering instead of the better answer.
Jak w konkursie, gdzie jurorzy słuchają wykonawców w losowej kolejności: zamienia się miejsca odpowiedzi i liczy tylko zgodne werdykty.
Like a contest where jurors hear performers in shuffled order: answers swap places and only consistent verdicts count.
Porównujesz dwie wersje asystenta; po zamianie kolejności odpowiedzi połowa „zwycięstw” znika, bo sędzia po prostu wolał pierwszą.
You compare two assistant versions; after swapping the answer order, half the 'wins' disappear because the judge simply preferred the first one.