Sight Over Site: Perception-Aware Reinforcement Learning for Efficient Robotic Inspection

2509.17877v1 cs.RO, cs.CV 2025-09-24
Авторы:

Richard Kuhlmann, Jakob Wolfram, Boyang Sun, Jiaxu Xing, Davide Scaramuzza, Marc Pollefeys, Cesar Cadena

Резюме на русском

## Контекст Автоматическое испытание — важный аспект робототехники, применяющийся во многих областях, таких как промышленное мониторинга, поиск-спасательные операции и аудит сетей. Классические подходы сфокусированы на построении маршрутов минимальной длины, без учета того, что задача испытания заключается не в том, чтобы просто добраться до цели, а в том, чтобы обеспечить детальное визуальное исследование. Эта проблема становится особенно актуальной в средах с высокой степенью запутанности или с целями, которые становятся видимыми до прибытия к ним. В данной работе мы предлагаем перспективу решения этой проблемы с помощью усовершенствованного подхода, ориентированного на визуальную ориентацию. ## Метод Мы предлагаем алгоритм **Perception-Aware Reinforcement Learning (PARL)**, который использует нейронные сети для оценки видимости цели из различных позиций робота. Работа алгоритма основывается на двух компонентах: **сенсорной сигналы** (информация о цели) и **проприоцептивных сигналах** (информация о положении и направлении движения робота). Мы использовали симулятор для тренировки модели, что дало возможность эффективно оценивать различные сценарии. Наша модель научилась строить маршруты, минимизируя время, затраченное на визуальное обнаружение цели. ## Результаты Мы провели эксперименты в симуляторе и на реальном роботе. Наши результаты показали, что PARL выполняет маршруты более эффективно, чем классические алгоритмы и другие решения на основе машинного обучения. Мы также сравнили нашу модель с алгоритмом **RRT** (Rapidly-exploring Random Tree), который строит маршрут на основе топологии среды, и показали, что PARL не только эффективнее, но и более универсален. ## Значимость Метод Sight Over Site может применяться в различных сферах, например, для автоматизации промышленных процессов, поиска-спасательных операций, мониторинга сетей и даже роботизированных аудитов. В отличие от традиционных подходов, наше решение ориентировано не только на передвижение, но и на визуальную интеракцию с целью. Это дает значительный выигрыш в эффективности и точности. ## Выводы Мы доказали, что наш подход эффективно решает задачу визуального испытания, устанавливая новый стандарт для этой области. Будущие исследования будут направлены на улучшение точности модели в условиях сложной окружающей среды и расширение её возможностей для работы в реальном времени.

Abstract

Autonomous inspection is a central problem in robotics, with applications ranging from industrial monitoring to search-and-rescue. Traditionally, inspection has often been reduced to navigation tasks, where the objective is to reach a predefined location while avoiding obstacles. However, this formulation captures only part of the real inspection problem. In real-world environments, the inspection targets may become visible well before their exact coordinates are reached, making further movement both redundant and inefficient. What matters more for inspection is not simply arriving at the target's position, but positioning the robot at a viewpoint from which the target becomes observable. In this work, we revisit inspection from a perception-aware perspective. We propose an end-to-end reinforcement learning framework that explicitly incorporates target visibility as the primary objective, enabling the robot to find the shortest trajectory that guarantees visual contact with the target without relying on a map. The learned policy leverages both perceptual and proprioceptive sensing and is trained entirely in simulation, before being deployed to a real-world robot. We further develop an algorithm to compute ground-truth shortest inspection paths, which provides a reference for evaluation. Through extensive experiments, we show that our method outperforms existing classical and learning-based navigation approaches, yielding more efficient inspection trajectories in both simulated and real-world settings. The project is avialable at https://sight-over-site.github.io/

Ссылки и действия