# Ocena modeli na pytaniach i rozmowach medycznych

EN: **Evaluating LLMs on medical questions and conversations** · id `medllmeval` · aliases: medical LLM benchmarks, HealthBench, MultiMedQA, benchmarki medyczne

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w medycynie i ochronie zdrowia](https://aiatlasgraph.com/t/healthai.md) › [Modele językowe w medycynie](https://aiatlasgraph.com/t/medicalllm.md) › Ocena modeli na pytaniach i rozmowach medycznych

## Description

- PL: Benchmarki i protokoły oceny medycznych LLM: od pytań egzaminacyjnych po wieloturowe rozmowy oceniane rubrykami lekarzy i przegląd szkodliwości.
- EN: Benchmarks and protocols for evaluating medical LLMs: from exam questions to multi-turn conversations scored with physician rubrics and harm review.

## In one sentence

- PL: Sposoby sprawdzania, czy odpowiedzi modelu na pytania o zdrowie są trafne, bezpieczne i zrozumiałe dla pacjenta.
- EN: Ways of checking whether a model's answers to health questions are accurate, safe and clear to a patient.

## Problem it solves

- PL: Model może zdać lekarski egzamin, a mimo to dać groźną radę w zwykłej rozmowie z zaniepokojonym pacjentem.
- EN: A model can pass a medical exam and still give dangerous advice in an ordinary chat with a worried patient.

## What it does

- PL: Jak egzamin praktyczny zamiast testu: lekarze przygotowują realistyczne rozmowy i szczegółowe kryteria, a odpowiedzi modelu dostają za nie punkty.
- EN: Like a practical exam instead of a quiz: doctors prepare realistic conversations and detailed criteria, and the model's answers are scored against them.

## Everyday example

- PL: Zanim szpital doda czatbota do aplikacji dla pacjentów, sprawdza go na setkach rozmów, także takich, w których trzeba odesłać na ostry dyżur.
- EN: Before a hospital adds a chatbot to its patient app, it tests it on hundreds of conversations, including ones where the right move is the emergency room.

## This concerns you if you…

- PL: wybierasz czatbota do odpowiadania pacjentom
- PL: chcesz wiedzieć, na ile ufać poradom zdrowotnym od AI
- EN: are choosing a chatbot to answer patients
- EN: want to know how far to trust AI health advice

## Keywords

HealthBench · MultiMedQA · MedQA · MedMCQA · PubMedQA · rubric-based evaluation · clinical expert review · MedHELM

## How it works

- PL: Pierwsza generacja to pytania wielokrotnego wyboru (MedQA, MedMCQA, PubMedQA, zebrane w MultiMedQA) oraz ocena ludzi pod kątem faktów i ryzyka szkody. HealthBench obejmuje 5000 wieloturowych rozmów z rubrykami 262 lekarzy i ponad 48 tys. unikalnych kryteriów.
- EN: The first generation used multiple-choice questions (MedQA, MedMCQA and PubMedQA, gathered in MultiMedQA) plus human review of factuality and potential harm. HealthBench contains 5,000 multi-turn conversations with rubrics from 262 physicians and more than 48,000 unique criteria.

## Limits

- PL: Testy egzaminacyjne są nasycone i mogły trafić do danych treningowych. Rubryki mają własne ograniczenia, a wynik benchmarku nie zastępuje oceny na lokalnych pacjentach i w rzeczywistym sposobie pracy. Benchmark od dostawcy modeli wymaga niezależnego potwierdzenia.
- EN: Exam-style tests are saturated and may have leaked into training data. Rubrics have their own limitations, and benchmark scores do not replace evaluation on local patients in the real workflow. A benchmark from a model vendor needs independent confirmation.

## Key terms

- PL: **rubryka**: Lista punktowanych kryteriów dobrej odpowiedzi przygotowana przez lekarzy.
- PL: **ocena ekspercka**: Przegląd odpowiedzi przez klinicystów pod kątem trafności, szkody i komunikacji.
- PL: **nasycenie benchmarku**: Najlepsze modele mają niemal maksimum i test przestaje je różnicować.
- EN: **rubric**: A physician-written list of scored criteria for a good answer.
- EN: **expert review**: Clinicians review responses for accuracy, harm and communication.
- EN: **benchmark saturation**: Top models score near the maximum, so the test stops separating them.

## Know first

- [Benchmarki wiedzy i rozumowania (Knowledge and reasoning benchmarks)](https://aiatlasgraph.com/t/knowledgebench.md)
- [Ocena ludzi i modeli (Human evaluation and model judges)](https://aiatlasgraph.com/t/judges.md)

## Related topics

Untyped, symmetric "see also" links.

- [Przeciek danych i nasycenie benchmarków (Benchmark contamination and saturation)](https://aiatlasgraph.com/t/benchcontamination.md)
- [Walidacja ewaluatorów (Evaluator validation against human labels)](https://aiatlasgraph.com/t/judgevalidation.md)

## Sources

- [Large Language Models Encode Clinical Knowledge (Med-PaLM)](<https://arxiv.org/abs/2212.13138>) `medpalm-2022` · by Karan Singhal, Shekoofeh Azizi, Tao Tu i in. (Google Research, DeepMind) · sponsored
- [HealthBench: Evaluating Large Language Models Towards Improved Human Health](<https://arxiv.org/abs/2505.08775>) `healthbench-2025` · by Rahul K. Arora, Jason Wei, Rebecca Soskin Hicks i in. (OpenAI), Karan Singhal · sponsored

---

AI Atlas revision 124 (2026-10-31) · HTML: https://aiatlasgraph.com/t/medllmeval · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30