Wnioskowanie prawdziwej etykiety i wiarygodności anotatorów z wielokrotnych, zaszumionych ocen tych samych przykładów.
Inferring the true label and annotator reliability from repeated, noisy judgements of the same items.
Wyznaczanie jednej wiarygodnej etykiety z wielu, czasem sprzecznych odpowiedzi różnych osób oznaczających te same dane.
Working out one trustworthy label from several, sometimes conflicting answers given by different people labelling the same data.
Osoby oznaczające dane mylą się, spieszą albo różnie rozumieją instrukcję, a zwykłe głosowanie traktuje wszystkich jednakowo.
Labellers make mistakes, rush or read instructions differently, while a plain vote treats everyone the same.
Uczy się, kto jest rzetelny, a kto często się myli, i daje większą wagę głosom osób, które zwykle mają rację.
It learns who is reliable and who often errs, and gives more weight to the votes of people who are usually right.
Dziesięć osób ocenia, czy komentarz jest obraźliwy, a system ustala końcową ocenę, mniej licząc się z kimś, kto klika na chybił-trafił.
Ten people judge whether a comment is offensive, and the system settles the final label while discounting someone clicking at random.