NeeCo: Image Synthesis of Novel Instrument States Based on Dynamic and Deformable 3D Gaussian Reconstruction

#### Контекст Компьютерное зрение широко применяется в сургерической автоматизации для улучшения систем трекинга инструментов, детекции и локализации. Однако текущие приемки семантической аналитики, основанные на данных, требуют больших, высококачественных и методично отмеченных изображений, что ограничивает их применение в сургерской науке. Наша работа ставит целью решение проблемы нехватки данных в области сургерии, используя динамическую технологию Гауссовского рендеринга. Мы предлагаем модель динамических Гауссовских моделей для представления динамических сургерических сцен, что позволяет рендерить инструменты хирургических операций из невиденных точек зрения и с деформациями в реальных тканевых фонах. #### Метод Мы предложили новый динамический Гауссовский моделирований, отражающий характеристики деформаций и динамических сцен сургерии. Модель использует техники рендеринга Гауссовского шума для создания реалистичных изображений инструментов в движении и с деформациями. Мы также применяем динамическую стратегию обучения для адаптации к камерам с некорректными позициями из реальных условий. Для автоматического генерирования аннотаций в синтетических данных мы предлагаем метод, основанный на динамических Гауссовых моделях. Это подход позволяет создать высококачественные датасеты для обучения моделей. #### Результаты Мы строили новый датасет, содержащий 14,000 кадров инструментов и камеры в сценах с подкорпусным свином. Мы сравнили синтетические изображения, сгенерированные нашей моделью, с изображениями, полученными стандартным методом данных. Результаты показали, что наш метод выдает изображения с реалистичным качеством, с оценкой Peak-Signal-to-Noise Ratio (PSNR) в 29.87. Мы также утвердили, что нейронные сети, обученные на синтетических данных, показали лучшую производительность по сравнению с моделями, обученными на данных стандартных методов. #### Значимость Наша технология может быть применена в сургерической науке для обучения моделей сургерических инструментов. У нее есть преимущества, такие как увеличение качества тренировочных данных, снижение необходимости в больших датасетах и более высокая точность. Мы применили нашу технологию к различным сценам и демонстрируем, что она может быть применена в различных сургерических операциях, чтобы повысить качество обучения и анализа данных. #### Выводы Мы достигли существенных улучшений в качестве синтетических изображений в сургерии. Наш метод может быть использован для аддитивного обучения систем, чтобы повысить точность в с