Decoding the Surgical Scene: A Scoping Review of Scene Graphs in Surgery

## Контекст Оперативная среда представляет собой сложную динамическую систему, требующую точного анализа и понимания для поддержки безопасности и эффективности в медицинской практике. Одним из ключевых инструментов для понимания таких окружений являются **Scene Graphs (SGs)** — структурированные сети, описывающие отношения между объектами в среде. SGs уже применяются в многих областях, включая распознавание образов, анализ текста и синтез речи. Однако в медицинской сфере, особенно в хирургии, их потенциал остается недостаточно исследованным. Несмотря на растущий интерес к использованию SGs в ситуациях, требующих мониторинга, анализа и управления хирургическим процессом, текущие исследования сильно разрознены, что создает сложности в оценке их реального вклада в улучшение медицинских технологий. ## Метод Для оценки вклада SGs в хирургические приложения использовалась методология разработанная в соответствии с PRISMA-ScR (Preferred Reporting Items for Systematic Reviews and Meta-Analyses extension for Scoping Reviews). Исследование включило поиск, оценку и систематическую картирование данных из различных источников. Основное внимание было уделено сравнению технологий и методов, используемых для построения и применения SGs в различных сценариях. Рассматривались два основных направления: внутренний (2D-видео) и внешний (4D-моделирование) взгляд на оперативную среду. Также, были проанализированы технические решения, методы обучения и архитектуры, используемые в современных SGs. ## Результаты Исследование выявило значительный рост в новых решениях, которые используют SGs в хирургии. Особенно заметны развития в области **графовых нейронных сетей (GNN)** и более специализированных **основных моделей**, которые превосходят широко используемые общие модели зрения и языка. Данные были получены из ограниченного, но качественного набора работ, включающих триплетное распознавание, синтез сценариев и моделирование внешних обзорных данных. Однако обнаружилось, что существует критическая разница в использовании данных: внутренние сцены часто основываются на реальных 2D-видео, в то время как внешние сцены — на симуляционных данных. Это создает трансляционную проблему, ограничивающую передачу решений из лабораторных условий в практическое применение. ## Значимость SGs не только улучшают работу систем мониторинга и анализа в хирургии но и открывают новые перспективы для **контролируемого моделирования и симуляции**. Они могут использоваться для развития безопасных и эффективных систем для обучения и мониторинга хирургических процессов. Эти технологии мог