# Uprzedzenia sędziów LLM: kolejność, długość, własny styl

EN: **LLM judge biases and mitigation** · id `judgebias` · aliases: position bias, verbosity bias, self-enhancement bias, self-preference bias, stronniczość sędziego LLM

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ocena ludzi i modeli](https://aiatlasgraph.com/t/judges.md) › [Model językowy jako sędzia (LLM-as-a-judge)](https://aiatlasgraph.com/t/llmjudge.md) › Uprzedzenia sędziów LLM: kolejność, długość, własny styl

## Description

- PL: Systematyczne błędy sędziów LLM (pozycja, rozwlekłość, autopreferencja) i techniki ich ograniczania.
- EN: Systematic errors of LLM judges (position, verbosity, self-preference) and techniques to reduce them.

## In one sentence

- PL: Oceniający model ma swoje skrzywienia: woli odpowiedź pokazaną jako pierwszą, dłuższą albo podobną do własnej.
- EN: A grading model has its own skews: it may prefer the answer shown first, the longer one, or one that sounds like itself.

## Problem it solves

- PL: Wyniki automatycznej oceny mogą nagradzać gadulstwo albo przypadek kolejności, a nie lepszą odpowiedź.
- EN: Automatic grading can reward wordiness or the luck of ordering instead of the better answer.

## What it does

- PL: Jak w konkursie, gdzie jurorzy słuchają wykonawców w losowej kolejności: zamienia się miejsca odpowiedzi i liczy tylko zgodne werdykty.
- EN: Like a contest where jurors hear performers in shuffled order: answers swap places and only consistent verdicts count.

## Everyday example

- PL: Porównujesz dwie wersje asystenta; po zamianie kolejności odpowiedzi połowa „zwycięstw” znika, bo sędzia po prostu wolał pierwszą.
- EN: You compare two assistant versions; after swapping the answer order, half the 'wins' disappear because the judge simply preferred the first one.

## This concerns you if you…

- PL: porównujesz odpowiedzi parami za pomocą modelu
- PL: twoje wyniki rosną, gdy odpowiedzi się wydłużają
- PL: ten sam model generuje i ocenia
- EN: you compare answers pairwise with a model
- EN: your scores rise as answers get longer
- EN: the same model generates and grades

## Keywords

position bias · verbosity bias · self-enhancement bias · position swapping · length-controlled win rate · judge ensemble · few-shot judge

## How it works

- PL: Stronniczość pozycji mierzy się, oceniając każdą parę w obu kolejnościach; wygrana liczy się tylko przy zgodnym werdykcie, inaczej remis. Przykłady w prompcie (few-shot) i odpowiedź wzorcowa mogą ograniczać część błędów sędziego. Kontrolą dla skrzywienia ku rozwlekłości są pary sztucznie wydłużone bez nowej treści.
- EN: Position bias is measured by grading each pair in both orders; a win counts only when verdicts agree, otherwise it is a tie. Few-shot examples and a reference answer can reduce some judge errors. Pairs padded with no new content act as a control for verbosity bias.

## Limits

- PL: Zamiana kolejności podwaja koszt i nie usuwa innych skrzywień. Część uprzedzeń, jak autopreferencja, jest trudna do wykazania. Ograniczanie jednego efektu nie dowodzi, że sędzia ocenia poprawnie merytorycznie.
- EN: Swapping order doubles cost and does not remove other skews. Some biases, such as self-preference, are hard to demonstrate. Reducing one effect does not prove the judge is correct on substance.

## Key terms

- PL: **position bias**: Preferowanie odpowiedzi stojącej na określonym miejscu, zwykle pierwszym.
- PL: **verbosity bias**: Preferowanie dłuższych odpowiedzi, nawet gdy nie wnoszą więcej.
- PL: **self-enhancement bias**: Skłonność modelu do wyżej oceniania odpowiedzi w swoim stylu.
- EN: **position bias**: Favouring the answer in a particular slot, usually the first.
- EN: **verbosity bias**: Favouring longer answers even when they add nothing.
- EN: **self-enhancement bias**: A model's tendency to rate answers in its own style higher.

## Know first

- [Niepewność statystyczna wyników ewaluacji (Statistical uncertainty in evaluations)](https://aiatlasgraph.com/t/evalstats.md)
- [Rankingi z głosami ludzi (areny) (Human-preference leaderboards (arenas))](https://aiatlasgraph.com/t/arenas.md)

## Sources

- [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](<https://arxiv.org/abs/2306.05685>) `zheng-llmjudge-2023` · by Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/judgebias · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30