NeuralMeshing: Complete Object Mesh Extraction from Casual Captures

#### Контекст Создание точных геометрических моделей объектов, обнаруженных в повседневной жизни, представляется сложным, особенно в отсутствии доступа к специализированным сканерам. Эта проблема становится острой, когда требуется получить полную модель объекта с минимальными усилиями и сохранением точности. Текущие методы часто требуют дорогостоящего оборудования или работы с ограниченными фрагментами данных, что приводит к потерям в качестве или точности. Цель этого исследования заключается в создании системы, которая могла бы автоматически извлекать полные трехмерные модели объектов из нескольких видеороликов, собранных с помощью смартфона или другого устройства. #### Метод Система NeuralMeshing основывается на многовидеосистемной информации, которая позволяет извлекать полные модели объектов из нескольких видео, записанных с разных углов. Основной этап заключается в использовании технологии Structure-from-Motion (SfM) для позиционирования кадров по относительным ориентациям. Специальные маркеры, такие как checkerboard или Augmented Reality (AR) маркеры, позволяют определить один известный точный пункт в каждом видео. Этот маркер используется для точного размещения кадров в пространстве. Остальные кадры автоматически выравниваются, а их результаты объединяются в единую модель. Таким образом, система может создавать геометрическую модель объекта без необходимости дополнительной работы над заполнением "дыр". #### Результаты Используя несколько видеороликов, полученных с разных углов, система NeuralMeshing могла автоматически извлечь полные модели объектов, включая те, что имели сложные формы или были покрыты материалом. Отдельные эксперименты показали, что система обеспечивает высокую точность в расположении кадров и моделировании трехмерной модели. Использование маркеров позволяет обеспечить точность, которая отсутствует в методах, основанных только на структуре кадров. Однако, в некоторых случаях, нехватка кадров может привести к неточностям в экстремальных углах. #### Значимость Система NeuralMeshing может применяться во многих областях, включая архитектуру, конструирование, медицину и творческие проекты. Она предлагает преимущество в том, что требует гораздо меньшего количества времени и ресурсов, чем традиционные сканирования. Благодаря этому, пользователи могут легко и быстро получить геометрические модели объектов в реальном мире без доступа к дорогостоящему оборудованию. Это имеет потенциал для упрощения процесса моделирования и внедрения в широкомасштабные приложения, такие как виртуальная и аugmented реальность. #### Выводы Выполненные исследования показали, что NeuralMeshing может эффективно ра