Is ChatGPT-5 Ready for Mammogram VQA?

#### Контекст В последние годы внимание к вопросам превентивного здравоохранения, в том числе скринингу рака молочной железы, существенно прогрессировало. В этой области важная роль отводится задачей визуального вопросования и ответа (VQA) на маммограммы. Эта задача сочетает интерпретацию изображений с клиническим рассуждением и может поддерживать процесс обнаружения рака молочной железы. Однако существующие модели иногда сталкиваются с ограничениями в точности и контекстуальной точности в клинических задачах. Это делает необходимым развитие моделей с более высоким уровнем производительности и точности. #### Метод Мы использовали пять моделей GPT-5 и одну модель GPT-4o для систематического оценивания их производительности в задачах VQA на маммограммах. Относительно области применения, мы использовали четыре публичных набора данных: EMBED, InBreast, CMMD и CBIS-DDSM. Обучение и оценка проводились в рамках задач классификации различных аспектов, таких как плотность, дисторсия, массы, кальцификации и малignant (меланома). Для обеспечения сравнительной оценки, мы сравнили результаты моделей с результатами человеческих экспертов. #### Результаты Модель GPT-5 показала себя как самая высокопроизводительная модель в задачах классификации плотности, дисторсии, масс и кальцификаций. К примеру, на датасете EMBED модель достигла следующих результатов: 56.8% в классификации плотности, 52.5% в дисторсии, 64.5% в классификации масс, 63.5% в кальцификации и 52.8% в классификации малignant. Однако, несмотря на эти результаты, GPT-5 показала себя хуже биомедицинских моделей, предназначенных специально для таких применений. На датасете InBreast, GPT-5 достиг 36.9% BI-RADS accuracy, 45.9% обнаружения аномалий и 35.0% классификации малignant. На датасете CMMD GPT-5 достиг 32.3% обнаружения аномалий и 55.0% классификации малignant. На CBIS-DDSM GPT-5 показала 69.3% BI-RADS accuracy, 66.0% обнаружения аномалий и 58.2% классификации малignant. #### Значимость GPT-5 может быть применена в первичных скринингах и предварительной диагностике, но её производительность недостаточна для применения в высокорисковых клинических средах без дополнительной оптимизации. Несмотря на это, улучшения, достигнутые от GPT-4o до GPT-5, показывают перспективу широкомасштабных общих моделей языка (LLMs) в помощь классическим задачам радиологии. #### Выводы Мы показали, что хотя GPT-5 показывает заметные улучшения по сравнению с предыдущими моделями, она ещё не готова для применения в клинических задачах без дополнительной адаптации. Н