ZeST: an LLM-based Zero-Shot Traversability Navigation for Unknown Environments

2508.19131v1 cs.RO, cs.AI, cs.CV 2025-08-28
Авторы:

Shreya Gummadi, Mateus V. Gasparino, Gianluca Capezzuto, Marcelo Becker, Girish Chowdhary

Резюме на русском

#### Контекст Исследование связано с проблемой топологической навигации в неизвестных средах, где требуется активно учитывать риски, связанные с оценкой топологии и обнаружением препятствий. Развитие безопасного и эффективного роботов, способных самостоятельно перемещаться в этих условиях, является ключевым заданием. Одним из главных рисков является традиционный подход к обучению систем навигации - подвергание роботам риску в реальных условиях. Данный подход не только повышает риски для оборудования, но и затрудняет эффективное и быстрое развитие систем навигации. Данная работа предлагает новый подход, использующий визуальную рационализацию и возможности Large Language Models (LLMs) для создания топологических карт в реальном времени. Такой подход минимизирует возможные риски для робота и позволяет быстрее развивать системы навигации. #### Метод Предлагаемый подход, ZeST (Zero-Shot Traversability), основывается на возможностях LLMs для распознавания и оценки трехмерных сред. Данная модель принимает в качестве входных данных изображения среды, а затем производит анализ и интерпретацию этих данных для построения топологических карт. Модель использует zero-shot learning, что позволяет применять ее в различных условиях без предварительного обучения на конкретных данных. Это значительно сокращает время настройки и внедрения модели. Основной целью является построение точных топологических моделей в режиме реального времени, чтобы обеспечить безопасность и эффективность навигации. #### Результаты В результате экспериментов, проведенных в различных средах, включая как управляемые внутренние пространства, так и неупорядоченные внешние среды, показано, что ZeST обеспечивает более безопасную и эффективную навигацию по сравнению с другими моделями. Модель постоянно достигает цели, сохраняя высокую точность в определении препятствий и создании топологических карт. Эксперименты показали, что технология ZeST не только меньше рисков для оборудования, но и позволяет быстрее развивать навигационные системы, сокращая время на обучение и развертывание. #### Значимость ZeST может быть применена в различных сферах, таких как промышленность, экспедиции, добыча ресурсов или развитие роботов для поиска и спасения. Этот подход позволяет эффективно обходить риски, связанные с традиционной оценкой среды, и обеспечивает быстрое и безопасное развитие навигационных систем. Благодаря использованию LLMs, данная технология обеспечивает быстрое и точное распознавание среды, что делает ее актуальной в ситуациях, где требуется быстрое решение. #### Выводы На основе экспериментов, проведенных в это

Abstract

The advancement of robotics and autonomous navigation systems hinges on the ability to accurately predict terrain traversability. Traditional methods for generating datasets to train these prediction models often involve putting robots into potentially hazardous environments, posing risks to equipment and safety. To solve this problem, we present ZeST, a novel approach leveraging visual reasoning capabilities of Large Language Models (LLMs) to create a traversability map in real-time without exposing robots to danger. Our approach not only performs zero-shot traversability and mitigates the risks associated with real-world data collection but also accelerates the development of advanced navigation systems, offering a cost-effective and scalable solution. To support our findings, we present navigation results, in both controlled indoor and unstructured outdoor environments. As shown in the experiments, our method provides safer navigation when compared to other state-of-the-art methods, constantly reaching the final goal.

Ссылки и действия