GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation

## Контекст В области видения и языка (Vision-and-Language Navigation, VLN) существует значительный интерес к разработке систем, которые могут понимать и выполнять инструкции в контексте визуального окружения. Однако существующие методы сталкиваются с проблемами, такими как необходимость обширного обучения, высокая сложность моделей и ограниченная гибкость в работе с неизвестными средами. Это приводит к сложностям в реальном применении. Наша мотивация состоит в разработке простого, эффективного и универсального подхода, который может работать в неизвестных средах без дополнительного обучения, обеспечивая высокую универсальность и надежность. ## Метод Мы предлагаем фреймворк, основанный на оптимизации графа с ограничениями (GC-VLN), для VLN. Методология построена на декомпозиции инструкций на графы, где каждая инструкция представляется в виде директивного ациклического графа (Directed Acyclic Graph, DAG). Этот граф содержит три типа узлов: возможные путевые точки (waypoint nodes), объекты (object nodes) и ребра (edges). Данные узлы используются для поиска в библиотеке пространственных признаков (spatial constraint library), чтобы сформировать ограничения для графа. Затем используется констрейнт-сулвер (Constraint Solver) для оптимизации этого графа и вычисления пути к цели. Чтобы справиться с ситуациями отсутствия решений или множественных решений, мы используем навигационное дерево с алгоритмом обратного вывода (backtracking). ## Результаты Мы проводили первые эксперименты на трёх стандартных бенчмарках VLN: R2R, REVERIE и VLN-CE. Наши результаты показали значительный прирост в успешности и эффективности сравному текущим методам с использованием графов с ограничениями. Например, на R2R, наш метод показал увеличение успешности в 15% по сравнению с лучшим тренируемым методом. Также, в реальных экспериментах на роботе, мы продемонстрировали гибкость и универсальность нашиго фреймворка при работе с новыми инструкциями и неизвестными средами. ## Значимость Наш подход широко может применяться в реальных ситуациях, таких как робот-уборки, мониторинг и другие задачи видения и языка, где необходима автономная и универсальная система. Он обеспечивает высокую точность и скорость работы без необходимости в дополнительном обучении. Это делает его эффективным решением для развития автономных систем видения и языка. ## Выводы Мы представили новый фреймворк для VLN, основанный на оптимизации графов с ограничениями, который не требует дополнительного обучения и показал высокую эффективность на реальных задачах. Наши результаты открывают путь к будущим исследованиям в области высокоунив