Data-Efficient Learning for Generalizable Surgical Video Understanding

#### Контекст Стоимость и доступность хирургического лечения остаются ключевыми проблемами в медицинских системах по всему миру. Хирургические видеоанализаторы, обладающие высоким потенциалом для повышения качества и эффективности хирургических процедур, могут существенно улучшить оперативные работы. Однако их развитие сталкивается с рядом проблем, в том числе скупой аннотацией, высокой специфичностью процессов и большим диапазоном различий между институтами и процедурами. Целью данного исследования является создание моделей, способных эффективно применяться к разным типам хирургических процедур, обеспечивая доступность использования и стабильность в различных условиях клинического применения. #### Метод Для решения этих проблем использовались современные методы глубокого обучения, включая архитектуры сверточных нейронных сетей и рекуррентных моделей. Были проведены эксперименты с разными архитектурами для определения наиболее эффективных для решения задач распознавания фаз, действий и событий в хирургических видео. Улучшение моделей проводилось путем разработки новых архитектур и интеграции расширенных модулей. Чтобы снизить зависимость от дорогостоящих экспертных аннотаций, разработаны semi-supervised фреймворки, которые позволяют эффективно использовать большие объемы необъективных видео. Были предложены продвинутые фреймворки, такие как DIST, SemiVT-Surge и ENCORE, которые использовали минимальные объемы меток для повышения точности моделей. Также были созданы два крупных датасета: GynSurg и Cataract-1K, чтобы повысить репродуктивность исследований и способствовать продвижению области. #### Результаты Эксперименты проводились на крупных датасетах, включая GynSurg и Cataract-1K. Разработанные архитектуры показали высокую точность в распознавании фаз, действий и событий в хирургических видео. Особое внимание уделено повышению точности при минимальном количестве меток, что достигнуто благодаря использованию semi-supervised подходов. Эти результаты достигли состояния лидера над существующими методами, подтверждая эффективность использованных подходов. #### Значимость Результаты имеют широкую сферу применения в медицине, в том числе для создания интеллектуальных систем поддержки хирургических процедур, повышения точности оперативных действий и оценки их качества. Основным преимуществом является то, что модели требуют минимальных данных для обучения и могут применяться в различных клинических условиях. Это сокращает расходы на тренировку и обучение моделей, а также повышает доступность технологий для разных заболеваний и процедур. #### Выво