Queryable 3D Scene Representation: A Multi-Modal Framework for Semantic Reasoning and Robotic Task Planning

## Контекст В последние годы наблюдается стремительное развитие робототехники и искусственного интеллекта, которое открыло новые возможности для интерактивного взаимодействия с трехмерными средами. Однако полноценное понимание инструкций в человеческом языке и их перевод на конкретные действия для роботов в трехмерных средах остается сложной задачей. Особенностью этой проблемы является необходимость объединения геометрической структуры окружающей среды с ее семантическим описанием. Эта связанность необходима для точного выполнения команд, включая поиск предметов, перемещения и выполнения комплексных задач. На данный момент существуют попытки объединить эти аспекты, однако они либо ограничены в объеме данных, либо недостаточно эффективны в выполнении сложных задач. ## Метод Мы предлагаем новую методологию, которая объединяет три ключевых аспекта трехмерного представления окружающей среды: 1. **3D-consistent novel view rendering and segmentation**: Эта часть позволяет построить точный трехмерный рендеринг среды с использованием методов реконструкции и сегментации. Она обеспечивает геометрическую точность и позволяет идентифицировать объекты в среде. 2. **Precise geometry from 3D point clouds**: Использование точечных облаков для построения точных геометрических моделей среды, что позволяет использовать эти модели для роботов в задачах планирования. 3. **Structured, scalable organization via 3D scene graphs**: Организация среды в виде графов с объектами, свойствами и их взаимосвязями, чтобы эффективно организовать информацию о среде. Также мы интегрировали этот фреймворк с большими моделями зрения-языка (Vision-Language Models, VLM), что позволяет выполнять семантические запросы и получать объектно-уровневую информацию о геометрии, визуальных признаках и семантических описаниях. ## Результаты Мы проверили нашу модель в двух сценариях: 1. **Simulated robotic task planning in Unity**: Мы использовали симулятор Unity и эксперименты на основе научной базы данных Replica. Здесь мы проверяли возможность нашего фреймфорка понимать и выполнять команды в симулированной среде. 2. **Wet lab environment**: Мы применили нашу модель в реальной среде лаборатории, где робот должен выполнять задачи, такие как поиск инструментов или материалов в условиях ограниченного времени. Результаты показали, что наш фреймворк эффективно объединяет геометрию и семантику, что позволяет роботу понимать и выполнять сложные задачи в трехмерных средах. Мы также наблюдали улучшение в точности выполнения задач при использовании нашей модели в сравнении с другими подходами. ## Значимость Наш фреймворк имеет широкие применения в сферах, таких как робо