Citrus-V: Advancing Medical Foundation Models with Unified Medical Image Grounding for Clinical Reasoning

## Контекст Область медицинского искусственного интеллекта играет ключевую роль в современной клинической практике, где необходимо сочетание точной диагностики, эффективного лечения и объединенного подхода к клиническому обоснованию. Медицинские изображения являются важной источником информации, которая используется для диагностики, планирования лечения и принятия решений во время операций. Однако существующие модели часто ограничены в их области применения, требуют развития специализированных сетей и не могут обеспечить широкие возможности для клинического разума. Кроме того, появление больших языковых моделей и моделей мультимодальных систем показало мощь машинного здравого смысла и многозадачности. Тем не менее, реальные клинические задачи требуют уточненного зрения, взаимодействия мультимодальных моделей и цепочки мыслей при обосновании клинических решений. Было предложено Citrus-V — многомодальная модель фундаментальных задач медицинского искусственного интеллекта, которая объединяет анализ изображений, текстовый анализ и цепочку разума в одной системе. ## Метод Citrus-V является современной многомодальной моделью, которая объединяет понимание изображений и текста, а также имеет цепочку рассуждений как часть своей архитектуры. Модель предназначена для решения проблем, связанных с клиническим обоснованием, и включает в себя такие модули, как распознавание, сегментация и цепочка разума. Она использует универсальное обучение, которое позволяет обучать модель по разным видам задач: от распознавания объектов и сегментации зон интереса до текстового понимания и создания клинических отчетов. Citrus-V работает с помощью пиксельного уровня локализации лезионов, структурированного создания отчетов и инфекционного обоснования. Архитектура Citrus-V включает в себя модели представления языка, модели визуальных сетей и различные методы обучения, чтобы обеспечить точность и эффективность. ## Результаты Команда авторов провела многочисленные эксперименты, используя различные базы данных, чтобы протестировать модель Citrus-V. Она была проверена на таких задачах, как распознавание объектов, сегментация, текстовое понимание и клиническое обоснование. Результаты показали, что Citrus-V превосходит другие модели, включая специализированные сети и системы, которые используются для клинических задач. На основе открытых данных, команда показала, что Citrus-V обеспечивает лучшие результаты в плане точности, скорости и обобщаемости. Она также обеспечивает возможность точной локализации лезионов, автоматическо