Rankingi z głosami ludzi (areny)

Human-preference leaderboards (arenas) · id arenas · aliases: Chatbot Arena, LMArena, arena, Elo, Bradley-Terry, leaderboard, ranking modeli

Ludzie anonimowo porównują dwie odpowiedzi modeli i wybierają lepszą; wiele takich porównań tworzy ranking. Wynik zależy jednak od procedury zbierania głosów, dostępu modeli do areny i doboru porównań.

People anonymously compare two model answers and choose the better one; many such comparisons produce a ranking. The result nevertheless depends on vote collection, models' access to the arena and comparison sampling.

In one sentence

To rankingi powstające z wielu porównań odpowiedzi, w których ludzie wybierają lepszą wersję.

These rankings combine many answer comparisons where people choose the better version.

Problem it solves

Automatyczny test nie zawsze pokazuje, która odpowiedź jest dla ludzi bardziej przydatna lub czytelna.

An automated test does not always show which answer people find more useful or readable.

What it does

Zbiera głosy na anonimowe pary odpowiedzi i łączy je statystycznie; wynik zależy też od pytań, porównań i dostępnych modeli.

It collects votes on anonymous answer pairs and combines them statistically; results also depend on questions, pairings and available models.

Everyday example

Oceniasz anonimowe odpowiedzi na pytanie o ogród, a twój wybór wraz z innymi głosami wpływa na pozycje modeli.

You assess anonymous answers to a gardening question, and your choice joins other votes to influence the model rankings.

This concerns you if you…

Examples

Related topics

Sources