GoViG: Goal-Conditioned Visual Navigation Instruction Generation

#### Контекст В настоящее время активно развиваются исследования в области визуального навигационного поведения роботов и систем самообучения. Одна из основных проблем состоит в том, что существующие подходы часто зависят от структурированных входных данных, таких как семантические аннотации или с ENV-карт, что ограничивает их применение в неструктурированных и неизвестных средах. Это создает необходимость развития методов, основанных на исключительной использованием богатых egocentric visual data, чтобы обеспечить более сильный потенциал адаптации и обучения в таких условиях. Исследование GoViG (Goal-Conditioned Visual Navigation Instruction Generation) нацелено на развитие методов для автоматического генерирования контекстуально точных и языковых нормативных навигационных инструкций только на основе raw egocentric visual data. #### Метод Для решения этой задачи предлагается двухэтапный подход: (1) **визуальное прогнозирование** — предсказание визуальных состояний, которые находятся между исходным и конечным визуальными состояниями, и (2) **генерация инструкций** — генерирование понятных языковых инструкций на основе наблюдаемых и прогнозируемых визуальных данных. Эти две этапы объединены в авто регрессионную модель многомодального языкового моделирования, которая настраивается на основе специальных задач для обеспечения точности пространства и языковой ясности. Также введены два многомодальных подхода к логической расчету: (1) **One-pass Reasoning**, который предполагает последовательные логические выводы, и (2) **Interleaved Reasoning**, который использует интерактивные взаимодействия между прогнозированием и генерацией. #### Результаты Проведены эксперименты с использованием новой R2R-Goal-датасета, включающей в себя синтетические и реальные траектории. Наблюдается значительное улучшение уровня BLEU-4 и CIDEr по сравнению с текущими стандартами. Также продемонстрирована высокая степень общей генерализации в различных доменах. Эти результаты показали, что GoViG не только улучшает точность генерирования инструкций, но и обеспечивает более высокую степень адаптации к неизвестным и неструктурированным средам. #### Значимость Предложенная методология может быть применима в различных ситуациях, включая автоматизированное управление роботами, видеопомощь и самостоятельное взаимодействие с окружением. Основное преимущество GoViG заключается в исключении необходимости структурированных внешних данных, что делает его более универсальным и эффективным в сравнении с другими подходами. В будущем планируется расширить широту данных для обучения и сделать модель еще более точной и доступной для различных задач