Benchmarki i protokoły oceny medycznych LLM: od pytań egzaminacyjnych po wieloturowe rozmowy oceniane rubrykami lekarzy i przegląd szkodliwości.
Benchmarks and protocols for evaluating medical LLMs: from exam questions to multi-turn conversations scored with physician rubrics and harm review.
Sposoby sprawdzania, czy odpowiedzi modelu na pytania o zdrowie są trafne, bezpieczne i zrozumiałe dla pacjenta.
Ways of checking whether a model's answers to health questions are accurate, safe and clear to a patient.
Model może zdać lekarski egzamin, a mimo to dać groźną radę w zwykłej rozmowie z zaniepokojonym pacjentem.
A model can pass a medical exam and still give dangerous advice in an ordinary chat with a worried patient.
Jak egzamin praktyczny zamiast testu: lekarze przygotowują realistyczne rozmowy i szczegółowe kryteria, a odpowiedzi modelu dostają za nie punkty.
Like a practical exam instead of a quiz: doctors prepare realistic conversations and detailed criteria, and the model's answers are scored against them.
Zanim szpital doda czatbota do aplikacji dla pacjentów, sprawdza go na setkach rozmów, także takich, w których trzeba odesłać na ostry dyżur.
Before a hospital adds a chatbot to its patient app, it tests it on hundreds of conversations, including ones where the right move is the emergency room.