Med-GLIP: Advancing Medical Language-Image Pre-training with Large-scale Grounded Dataset

## Контекст Исследование связи между языковыми фразами и регионами медицинских изображений, известное как medical image grounding, является ключевым элементом для развития интеллектуальных систем в области медицины. Оно фундаментально важно для задач таких как визуальный анализ, визуальный вопросно-ответный режим (Visual Question Answering, VQA) и автоматическое создание отчетов (Automated Report Generation, ARG). Несмотря на это, существующие исследования сталкиваются с ограничениями в объеме и разнообразии данных, а также с недостатком универсального фреймворка для обработки этих задач. Мотивация для данного исследования заключается в том, чтобы устранить эти ограничения и создать эффективную систему, которая могла бы обрабатывать изображения по сразу нескольким областям и предоставлять точные региональные аннотации. ## Метод Методология исследования основывается на создании большого медицинского датасета, Med-GLIP-5M, включающего 5,3 миллиона записей, касающихся регионов в медицинских изображениях. Данный датасет покрывает семь различных медицинских модалитетов и поддерживает как сегментационные, так и граундингские задачи. Он включает в себя многоуровневые лейблы, которые позволяют отличать заболевания на разных уровнях, от органов до тонкого разбора частных мест. Для решения проблемы недостатка универсальных фреймворков для обработки этих задач, мы предлагаем Med-GLIP, модель, которая воспринимает семантику на разных уровнях гранулярности и может различать между органами и патологическими очагами. ## Результаты В ходе экспериментов, проведенных на Med-GLIP-5M, модель Med-GLIP показала существенное превосходство над текущими стандартными моделями в нескольких задачах граундинга. Она показала высокую точность в нахождении и отделении регионов, даже когда они имели мелкие размеры и были плохо различимы. Были проведены сравнительные тесты со сторо-ны-стандартными моделями, что демонстрирует преимущества Med-GLIP в выделении точных границ регионов на медицинских изображениях. ## Значимость Результаты Med-GLIP могут быть применены в различных областях, таких как визуальный анализ, визуальный вопросно-ответный режим (VQA) и автоматическое создание отчетов (ARG). Модель может существенно повысить точность и уменьшить время, необходимое для выполнения этих задач. Также, Med-GLIP может стать основополагающей системой для разработки более сложных систем в области интеллектуального диагностирования в медицине. ## Выводы Наши исследования показали, что Med-GLIP не только превосходит текущие модели в задачах граундинга, но и может быть использовано для улучшения различных видов работ в медицинско