Redukcja kosztów ewaluacji przez wybór reprezentatywnych pytań i estymację wyniku pełnego benchmarku modelami teorii odpowiedzi na pozycje testowe.
Cutting evaluation cost by selecting representative items and estimating full-benchmark scores with item response theory models.
Szacowanie wyniku modelu na wielkim teście po zadaniu mu tylko kilkudziesięciu albo stu starannie wybranych pytań.
Estimating a model's score on a huge test after asking only a few dozen or a hundred carefully chosen questions.
Pełne testy mają dziesiątki tysięcy pytań, więc sprawdzenie każdej wersji modelu kosztuje dużo czasu i pieniędzy.
Full tests have tens of thousands of questions, so checking every model version costs a lot of time and money.
Jak sondaż wyborczy: zamiast pytać wszystkich, pyta się dobrze dobraną grupę i z niej wnioskuje o całości.
Like an opinion poll: instead of asking everyone, you ask a well-chosen group and infer the whole from it.
Zespół dostraja model co kilka godzin i po każdej rundzie sprawdza go na stu pytaniach zamiast na czternastu tysiącach.
A team fine-tunes a model every few hours and after each round checks it on a hundred questions instead of fourteen thousand.