Score the Steps, Not Just the Goal: VLM-Based Subgoal Evaluation for Robotic Manipulation

## Контекст Научные исследования в области робототехники часто опираются на меру успеха, определяемую стандартным показателем успешности (SR), который возвращается после завершения целого эксперимента. Однако этот подход скрывает информацию о том, как политика или агент справляется с каждым отдельным шагом в многошаговом манипуляционном задании. Например, в постановке цели гарантированного успеха могут быть обнаружены проблемы с отдельными действиями (например, захватом или полива). Данная проблема требует альтернативных подходов к оценке производительности, которые могут помочь выявить слабые места и сократить время на отладку. ## Метод Мы предлагаем методологию, основанную на использовании виджета лингвистического моделирования (VLM) для оценки подзадач в многошаговой манипуляции. Наша методика заключается в том, чтобы измерять производительность по отдельным подзадачам (например, захват, подъем, полив), которые составляют целостную задачу. Мы предлагаем архитектуру StepEval, которая использует VLM для автоматической оценки подзадач на основе видео- или изображений-кадров. Эта архитектура использует метрики, такие как время работы, затраты на ресурсы и позиционирование, чтобы выявлять слабые места в поведении робота. Также мы предлагаем расширить текущую модель, добавив поддержку многоканальных входных данных и многомерной оценки. ## Результаты Мы провели эксперименты с помощью нашего подхода на задачах, включающих три независимых подзадачи: подъем, захват и полив. В качестве данных для тестирования мы использовали видеосъемки робота в разных сценариях. Результаты показали, что наша методика позволяет выявить слабые места в производительности робота на каждой отдельной подзадаче, что дает новый взгляд на общую эффективность. Мы также проверили, насколько наша модель может быть устойчива к разным типам данных и сценариям. ## Значимость Наш подход может быть применен в различных областях, таких как робототехника, логистика и медицинские технологии, где требуется точная эффективность в многошаговых операциях. Он обеспечивает более глубокий анализ производительности робота, позволяя выявить и исправить слабые места в процессе. Также этот подход может быть использован для оптимизации ресурсов, таких как энергопотребление и время работы, что делает его привлекательным для индустрии. ## Выводы Мы предложили новый подход к оценке производительности роботов, который ориентирован на подзадачи. Наша работа может стать началом для создания открытого проекта, который поможет стандартизировать и улучшить мето