# Modele ludzkich preferencji do oceny generowanych obrazów

EN: **Human preference reward models for generated images** · id `imagerewardmodels` · aliases: image reward models, human-preference image scoring, modele nagrody dla obrazów, preference-based image scoring

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › [Ewaluacja generowanych obrazów, wideo i mowy](https://aiatlasgraph.com/t/genmediaeval.md) › Modele ludzkich preferencji do oceny generowanych obrazów

## Description

- PL: Modele nagrody wyuczone na ludzkich porównaniach par lub rankingach obrazów, używane jako automatyczna metryka i sygnał do dostrajania generatorów.
- EN: Reward models trained on human pairwise comparisons or rankings of images, used as an automatic metric and a signal for tuning generators.

## In one sentence

- PL: Model nauczony na tysiącach ludzkich wyborów „ten obraz lepszy od tamtego”, który potem sam ocenia nowe obrazy.
- EN: A model trained on thousands of human “this picture beats that one” choices that then scores new pictures by itself.

## Problem it solves

- PL: Proste liczby nie oddają gustu: obraz może pasować do opisu, a i tak wyglądać sztucznie albo nieestetycznie.
- EN: Simple numbers miss taste: a picture can match the description and still look artificial or unattractive.

## What it does

- PL: Jak krytyk sztuki, który przejrzał tysiące werdyktów jury i nauczył się przewidywać, co spodoba się ludziom.
- EN: Like an art critic who studied thousands of jury verdicts and learned to predict what people will prefer.

## Everyday example

- PL: Aplikacja generuje cztery warianty plakatu i pokazuje ci najpierw ten, który model preferencji uznał za najbardziej przekonujący.
- EN: An app generates four poster variants and shows you first the one the preference model rated most appealing.

## This concerns you if you…

- PL: wybierasz najlepszy z kilku wygenerowanych wariantów
- PL: dostrajasz generator do gustu odbiorców
- EN: pick the best of several generated variants
- EN: tune a generator to your audience's taste

## Keywords

ImageReward · HPSv2 · PickScore · Pick-a-Pic · ReFL · LAION aesthetic predictor · Bradley-Terry · reward feedback learning

## How it works

- PL: Anotatorzy porównują lub szeregują obrazy wygenerowane z tego samego promptu. Na tych danych trenuje się model (zwykle na bazie enkodera obraz–tekst), który przewiduje, który obraz człowiek wybierze. Wynik służy do rankingu, filtrowania próbek lub jako nagroda przy dostrajaniu dyfuzji.
- EN: Annotators compare or rank images generated from the same prompt. A model, usually built on an image–text encoder, is trained to predict which image a person picks. Its score ranks or filters samples, or acts as a reward when fine-tuning diffusion models.

## Limits

- PL: Model odtwarza gust i uprzedzenia konkretnej grupy anotatorów. Optymalizowany generator może nauczyć się oszukiwać ocenę (reward hacking), np. przesycając kolory. Wyniki różnych modeli preferencji nie zawsze się zgadzają.
- EN: The model reproduces the taste and biases of a specific annotator pool. A generator optimised against it can learn to game the score (reward hacking), e.g. by oversaturating colours. Different preference models do not always agree.

## Key terms

- PL: **porównanie par**: Anotator wybiera lepszy z dwóch obrazów do tego samego polecenia.
- PL: **model nagrody**: Sieć przewidująca, jak bardzo człowiek doceni dany wynik.
- EN: **pairwise comparison**: An annotator picks the better of two images for the same request.
- EN: **reward model**: A network predicting how much a person will value an output.

## Know first

- [Modele nagrody (Reward models)](https://aiatlasgraph.com/t/rewardmodels.md)
- [Generowanie obrazów z opisu tekstowego (Text-to-image generation)](https://aiatlasgraph.com/t/texttoimage.md)

## Related topics

Untyped, symmetric "see also" links.

- [Rankingi z głosami ludzi (areny) (Human-preference leaderboards (arenas))](https://aiatlasgraph.com/t/arenas.md)

## Sources

- [ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation](<https://arxiv.org/abs/2304.05977>) `imagereward-2023` · by Jiazheng Xu, Xiao Liu, Yuchen Wu, Yuxuan Tong, Qinkai Li, Ming Ding, Jie Tang, Yuxiao Dong

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/imagerewardmodels · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06