Grounding Multimodal Large Language Models with Quantitative Skin Attributes: A Retrieval Study

Название: Grounding Multimodal Large Language Models with Quantitative Skin Attributes: A Retrieval Study ## Контекст Ключевым вызовом в области искусственного интеллекта является улучшение интерпретируемости моделей, особенно в задачах диагностики, таких как дерматологическая диагностика. Несмотря на успех моделей в области диагностики неряшливостей, в том числе раковых, их результаты часто остаются непонятными для клинического персонала. Это влечет за собой серьезные практические ограничения. Многие модели, основанные на многомодальных языковых моделях (MLLMs), показывают заметный потенциал в облегчении диагностического процесса, предоставляя естественно-языковые обоснования своих выводов. Однако возможность использования таких моделей в практической клинической практике ограничена нехваткой возможности проверять их выводы на предмет точности и адекватности. Мы рассматриваем возможность использования количественных атрибутов, связанных с поверхностными неряшливостях (например, их площадь и границы), для улучшения интерпретируемости моделей. Такие атрибуты, часто являющимися качественными, могут привести к новым возможностям для более точной оценки результатов моделей. ## Метод Мы применяем метод обучения с подкреплением (fine-tuning) для уточнения модели в задаче предсказания количественных атрибутов, связанных с неряшливостями (например, площадь, близость к границам и т.д.). Эти атрибуты считаются ключевыми для оценивания диагностической сложности и могут помочь структурировать выводы модели. Мы осуществляем регулирование модели, обучая ее предсказывать эти атрибуты на основе изображений. Метод включает в себя сбор изображений неряшливостей, получение количественных значений атрибутов (например, площади) и налаживание ассоциации между изображениями и атрибутами. Модель настраивается для точного предсказания этих количественных параметров, чтобы получить возможность использовать их в качестве признаков для дальнейшей оценки интерпретации результатов. ## Результаты Мы проводим эксперименты с SLICE-3D датасетом, который представляет собой набор изображений и атрибутов дерматологических неряшливостей. Выполняется тщательная оценка того, насколько точно модель предсказывает количественные атрибуты на изображениях. Мы проводим сравнительный анализ с другими методами, которые не применяют атрибуты. В результате выявляем, что модель, настроенная на предсказание атрибутов, показывает значительно более высокую точность и стабильность в прогнозировании. Эти результаты подтверждают возможность использования количественных атрибутов для улучшения интерпретации моделе