DATR: Diffusion-based 3D Apple Tree Reconstruction Framework with Sparse-View

#### Контекст Цифровые копии в реальном времени (digital twin) предлагают перспективы трансформации для мониторинга в реальном времени и симуляции роботов, используя точные виртуальные двойники физических объектов. Основой этих систем является 3D-реконструкция с высокой геометрической точностью. Однако существующие методики сталкиваются с трудностями при работе под полярными условиями, особенно при наличии скудных и затененных обзоров. Данное исследование разрабатывает рамформу DATR (Diffusion-based 3D Apple Tree Reconstruction) для 3D-реконструкции деревьев яблони из скудных обзоров. Фреймворк работает в двух стадиях: первая стадия применяет бортовые сенсоры и базовые модели для получения масок деревьев, которые исключают фоновую информацию. Вторая стадия включает в себя диффузионную модель и модель общего реконструктора для генерирования трехмерных моделей и нейронных полей. Эта рамформа была протестирована как на реальных, так и на синтетических данных. #### Метод DATR состоит из двух стадий. В первой стадии используется комбинация бортовых сенсоров и базовых моделей для получения масок деревьев в сложных полярных условиях. Эти маски используются для отфильтрования фоновых данных в многомодальных изображениях. Во второй стадии применяются диффузионная модель для построения трехмерных моделей и модель общего реконструктора для генерирования нейронных полей. Обучение диффузионной модели и модели общего реконструктора проводилось на синтетических данных, сгенерированных Real2Sim. Набор реальных данных включал шесть деревьев с измеренными территориальными значениями, а синтетический набор представлял собой структурно разнообразные деревья. #### Результаты DATR показал высокую точность реконструкции в сравнении с существующими методами на двух наборах данных. Он предоставил трехмерные модели деревьев с уровнем детализации, приближающимся к результатам промышленных лазерных сканеров, но с значительно нижей стоимостью и более высокой скоростью. Для оценки характеристик деревьев (например, ширины и высоты), DATR достиг результатов, приближающихся к промышленным сканерам, с повышенной производительностью примерно в 360 раз. #### Значимость DATR может применяться в сельскохозяйственных системах для получения цифровых двойников для мониторинга, оценки здоровья растений и оптимизации управления фермы. Он предлагает преимущества в скорости, стоимости и удобстве в использовании по сравнению с традиционными лазерными сканерами. Этот подход может также иметь значимые приложения в других областях, таких как транспорт, жилищное строитель