# Ewaluacja generowanych obrazów, wideo i mowy

EN: **Evaluating generated images, video and speech** · id `genmediaeval` · aliases: generative media evaluation, generative content evaluation, ocena mediów generowanych

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [Ewaluacja i interpretowalność](https://aiatlasgraph.com/t/evaluation.md) › Ewaluacja generowanych obrazów, wideo i mowy

## Description

- PL: Metody oceny modeli generujących obraz, wideo i mowę: metryki rozkładowe, zgodność tekst–obraz, modele preferencji, wielowymiarowe benchmarki i oceny słuchowe.
- EN: Methods for evaluating image, video and speech generators: distribution metrics, text–image alignment, preference models, multi-dimensional benchmarks and listening tests.

## In one sentence

- PL: Sposoby sprawdzania, czy obrazy, filmy i głos stworzone przez AI wyglądają i brzmią dobrze oraz pasują do polecenia.
- EN: Ways of checking whether AI-made pictures, videos and voices look and sound good and match what was asked.

## Problem it solves

- PL: Przy tekście można porównać odpowiedź z wzorcem, ale dla nowego obrazu czy głosu nie ma jednej poprawnej wersji.
- EN: Text answers can be compared with a reference, but a brand-new picture or voice has no single correct version.

## What it does

- PL: Łączy kilka spojrzeń naraz: zgodność z poleceniem, naturalność, podobieństwo do prawdziwych nagrań i opinie słuchaczy lub widzów.
- EN: It combines several views at once: match with the request, naturalness, closeness to real recordings, and the opinions of viewers or listeners.

## Everyday example

- PL: Firma wybiera model do ilustracji katalogu: porównuje, ile obrazów pokazuje zamówione rzeczy i jak oceniają je pracownicy.
- EN: A company picks a model for catalogue illustrations by comparing how many pictures show the requested items and how staff rate them.

## This concerns you if you…

- PL: porównujesz narzędzia do tworzenia grafik, wideo lub głosu
- PL: chcesz sprawdzić, czy nowa wersja generatora jest lepsza
- PL: publikujesz treści tworzone przez AI
- EN: compare tools that make images, video or voice
- EN: want to check whether a new generator version is better
- EN: publish AI-made content

## Keywords

FID · KID · CMMD · CLIPScore · VQAScore · GenEval · GenAI-Bench · ImageReward · HPSv2 · PickScore · VBench · MOS · UTMOS · speaker similarity · human preference

## How it works

- PL: Jakość mierzy się na kilku osiach: odległość rozkładu cech wygenerowanych i prawdziwych próbek, zgodność z poleceniem oceniana modelem wizja–język, wynik modelu nagrody wyuczonego na ludzkich porównaniach oraz oceny ludzi. Benchmarki rozbijają ocenę na wymiary z osobnymi promptami.
- EN: Quality is measured on several axes: feature-distribution distance between generated and real samples, prompt alignment scored by a vision–language model, reward-model scores learned from human comparisons, and human ratings. Benchmarks split evaluation into dimensions with dedicated prompts.

## Limits

- PL: Automatyczne metryki często rozmijają się z oceną ludzi i zależą od użytego ekstraktora cech. Modele oceniające mają własne uprzedzenia, a oceny ludzkie są drogie i trudne do porównania między badaniami.
- EN: Automatic metrics often diverge from human judgement and depend on the feature extractor. Scoring models carry their own biases, while human ratings are costly and hard to compare across studies.

## Key terms

- PL: **metryka rozkładowa**: Porównuje cały zbiór wygenerowanych próbek ze zbiorem prawdziwych, nie pojedyncze pary.
- PL: **zgodność z promptem**: Na ile wygenerowany obraz lub film pokazuje to, co opisano w poleceniu.
- PL: **MOS**: Średnia ocen słuchaczy w skali od 1 do 5.
- EN: **distribution metric**: Compares the whole set of generated samples with real ones, not single pairs.
- EN: **prompt alignment**: How well a generated image or video shows what the request described.
- EN: **MOS**: Mean listener rating on a one-to-five scale.

## Know first

- [Sieci i modele generatywne (Neural architectures and generative models)](https://aiatlasgraph.com/t/neural.md)

## Subtopics (5 direct, 5 in total)

- [Modele ludzkich preferencji do oceny generowanych obrazów (Human preference reward models for generated images)](https://aiatlasgraph.com/t/imagerewardmodels.md): Reward models trained on human pairwise comparisons or rankings of images, used as an automatic metric and a signal for tuning generators.
- [Ocena jakości syntezy mowy: MOS i jego automatyczne przewidywanie (Speech synthesis quality evaluation: MOS and automatic MOS prediction)](https://aiatlasgraph.com/t/speechqualityeval.md): Evaluating speech synthesis with listening tests (MOS) and models predicting MOS from audio, complemented by intelligibility and speaker-similarity measures.
- [Porównanie rozkładów obrazów prawdziwych i wygenerowanych (FID, CMMD) (Distribution-level image generation metrics (FID, KID, CMMD))](https://aiatlasgraph.com/t/fidmetrics.md): Metrics comparing feature distributions of generated and real images in a learned encoder space; FID assumes Gaussians, KID and CMMD use MMD.
- [Wielowymiarowa ocena generowanego wideo (Multi-dimensional evaluation of video generation)](https://aiatlasgraph.com/t/videogeneval.md): Benchmarks decomposing generated-video quality into many independent dimensions, each with its own prompts, scoring method and human validation.
- [Zgodność obrazu z opisem (CLIPScore, VQAScore) (Text–image alignment scoring (CLIPScore, VQAScore))](https://aiatlasgraph.com/t/textimagealignment.md): Text–image alignment metrics: image–text embedding similarity (CLIPScore) or a VQA model's probability of answering “yes” (VQAScore).

## Sources

- [Rethinking FID: Towards a Better Evaluation Metric for Image Generation](<https://arxiv.org/abs/2401.09603>) `rethinking-fid-cmmd-2024` · by Sadeep Jayasumana, Srikumar Ramalingam, Andreas Veit, Daniel Glasner, Ayan Chakrabarti, Sanjiv Kumar
- [Evaluating Text-to-Visual Generation with Image-to-Text Generation](<https://arxiv.org/abs/2404.01291>) `vqascore-2024` · by Zhiqiu Lin, Deepak Pathak, Baiqi Li, Jiayao Li, Xide Xia, Graham Neubig, Pengchuan Zhang, Deva Ramanan
- [UTMOS: UTokyo-SaruLab System for VoiceMOS Challenge 2022](<https://arxiv.org/abs/2204.02152>) `utmos-2022` · by Takaaki Saeki, Detai Xin, Wataru Nakata, Tomoki Koriyama, Shinnosuke Takamichi, Hiroshi Saruwatari
- [VBench: Comprehensive Benchmark Suite for Video Generative Models](<https://arxiv.org/abs/2311.17982>) `vbench-2023` · by Ziqi Huang, Yinan He, Jiashuo Yu, Fan Zhang, Chenyang Si, Yuming Jiang, Yuanhan Zhang, Tianxing Wu, Qingyang Jin, Nattapol Chanpaisit, Yaohui Wang, Xinyuan Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

---

AI Atlas revision 130 (2026-11-06) · HTML: https://aiatlasgraph.com/t/genmediaeval · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-11-06