Distilling LLM Prior to Flow Model for Generalizable Agent's Imagination in Object Goal Navigation

## Контекст Объектно-целевая навигация (Object Goal Navigation, ObjectNav) — задача, в которой агент должен найти указанный объект в неизвестной среде, используя только сенсорные данные, полученные при перемещении. Для этого необходимо иметь возможность "обдумать" невидимые области сцены. Несмотря на прогресс в области обучения обратных моделей, существующие подходы часто ориентируются на детерминированные и дискриминативные модели, которые строят семантические карты. Этот подход игнорирует неопределенность в воспроизводстве внутренних структур помещения, что ограничивает общие возможности модели. Наша модель GOAL (Guided Object Goal Agent Leveraging) адресует эти ограничения, предлагая новый подход к построению общеудобных моделей для ObjectNav. ## Метод GOAL использует генерирующую модель на основе потоков (flow-based generative model) и активирует ее с помощью крупномасштабных языковых моделей (LLMs). Модель GOAL представляет сцену как потоковую модель, которая может добавлять невидимые части сцены на основе наблюдаемых. Для этого мы задействуем LLM для формирования распределения семантических полей в помещении на основе наблюдаемых данных. Эти семантические поля преобразуются в 2D-гауссоновские поля, которые вводятся в модель потоков. Это позволяет модели извлекать информацию о контексте из широкого контекста, чтобы улучшить подготовленные для обучения карты. ## Результаты Мы проверили GOAL на двух популярных наборах данных ObjectNav — MP3D и Gibson. Наши эксперименты показали, что GOAL достигает лучшего результата по сравнению с другими подходами. В частности, она показала наиболее высокую точность в поиске объектов в неизвестных помещениях. Мы также проверили модель на HM3D, где она показала сильные результаты в тестировании вне среды обучения. Эти результаты подтверждают, что модель GOAL обладает высокой общеудобностью и эффективностью в задаче ObjectNav. ## Значимость Модель GOAL может быть применена в различных сценариях, таких как виртуальные ассистенты, системы для управления домашним роботом и системы создания знаний в виртуальных средах. Одним из ключевых преимуществ является ее общеудобность, что делает ее подходящей для различных сред. Благодаря использованию LLM, GOAL может обеспечить более точное и контекстуально обоснованное воспроизведение сцен, что может оказаться ключевым для улучшения навигационных задач. Мы считаем, что наша работа открывает новые пути для дальнейшего исследования в области контекстно-обоснованных моделей для навигации. ## Выводы Мы представили GOAL, новую модель для Object Goal Navigation, которая использует генерирующие модели потоков и LLM-поenнененные семантические карты для улучшения общей обучаемости и силы обра