Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models

## Контекст Многомодальные большие языковые модели (Multimodal Large Language Models, MLLMs) обладают большим потенциалом в области медицины, в том числе в диагностике заболеваний, клиническом принятии решений и оценке данных. Однако эти задачи требуют высокой точности, контекстуальной адекватности и профессиональной аллигации ответов. Это делает критически важным развитие эффективных моделей награды (Reward Models, MRMs) и критиков (Judges), которые могут адекватно оценивать выходные данные MLLMs в медицинских сценариях. Несмотря на их важность, MRMs и критики для медицины остаются недостаточно исследованы, и существуют лишь небольшие направления по оценке выходов MLLMs в таких областях, как клиническая точность и адекватность. Чтобы заполнить это промежуточное пространство, мы предлагаем Med-RewardBench — первый бенчмарк, специально разработанный для оценки MRMs и критиков в медицинских сценариях. ## Метод Med-RewardBench использует многомодальный датасет, охватывающий 13 органов и 8 клинических отделений, с 1026 касательно наблюдений, которые были экспертно проанализированы. Для обеспечения высокого качества этих данных для оценки, мы применяем трехшаговую процедуру: (1) сбор и описание данных; (2) синтезирование клинических сценариев; (3) выполнение критериев экспертной оценки. Методы классификации и оценки используются для реализации критериев критика в шести клинических аспектах: диагностическая точность, клиническая соответствия, лечимость, безопасность, эффективность и общий мотив. Мы оцениваем 32 современных MLLMs, включая открытые, проприетарные и медицинские модели, чтобы проверить их возможности в среде с клиническими задачами. Мы также разработали базовые модели, которые достигли значительных улучшений с помощью обучения. ## Результаты Наши эксперименты показали, что существуют значительные проблемы в совпадении выходов MLLMs с медицинскими критериями, особенно в области диагностической точности и клинической соответствия. Мы сравнили 32 моделей, включая стандартные, медицинские и открытые модели, и обнаружили, что многие из них сталкиваются с проблемами в точности выводов и клинической адекватности. Базовые модели, разработанные нами, показали значительные улучшения в производительности при использовании методов оптимизации и обучения. ## Значимость Med-RewardBench открывает новые возможности для оценки MLLMs в медицинских задачах, призванных решать проблемы в диагностике и клиническом принятии решений. Он предоставляет среду для проверки моделей на высокую точность, клиническую соответствию и профессиональную аллигацию ответов. Он также откры