Sprawdzenie sędziego LLM lub klasyfikatora na etykietach człowieka, na zbiorze, który nie brał udziału w jego strojeniu.
Testing an LLM judge or classifier against human labels, on a set that played no part in tuning it.
To sprawdzanie, czy automatyczny oceniający poprawnie rozpoznaje błędy według ocen przygotowanych przez ludzi.
This checks whether an automated evaluator recognises errors according to assessments prepared by people.
Model oceniający może przepuszczać złe odpowiedzi lub odrzucać dobre, nawet jeśli jego uzasadnienia brzmią przekonująco.
An evaluator model may accept poor answers or reject good ones even when its explanations sound convincing.
Porównuje oceny na osobnym zbiorze ludzkich etykiet, licząc pominięte błędy i niesłuszne odrzucenia bez używania tego zbioru do strojenia.
It compares ratings against a separate human labelled set, counting missed errors and incorrect rejections without using that set for tuning.
Sprawdzasz oceniający model na wcześniej ocenionych notatkach, zwłaszcza tych z błędnymi datami i tych, które poprawnie opisują wyjątki.
You test an evaluator on previously assessed notes, especially those with wrong dates and those correctly describing exceptions.