Do What? Teaching Vision-Language-Action Models to Reject the Impossible

## Контекст В статье Do What? Teaching Vision-Language-Action Models to Reject the Impossible рассматривается вопрос обучения Vision-Language-Action (VLA) моделей распознавать и отвергать задачи, невыполнимые из-за ложных предположений. Эти задачи возникают, когда команды пользователей описывают ситуации, отсутствующие в реальности. Это сложность становится важной, так как VLA модели, основанные на мультимодальных входных данных, должны не только предсказывать действия, но и корректно интерпретировать цели пользователей, даже если постановка задачи некорректна. Некорректность может привести к ошибкам в распознавании, что затрудняет обеспечение надежности и эффективности таких моделей. Интерес к данному вопросу связан с целью улучшения способности VLA моделей работать в реальных условиях, где ложные предположения часто встречаются. ## Метод Для решения данной проблемы предложена методология Instruct-Verify-and-Act (IVA). Она состоит из трех этапов: (i) распознавание ложных предположений в командах пользователей, (ii) уточнение или исправление некорректной команды с помощью естественного языка, (iii) переход к действию, исходя из возможностей распознавания и действий модели. Для обучения и тестирования IVA была разработана инновационная семиклассовая структура языковых запросов с искусственными сценариями, позволяющими симулировать различные ситуации с ложными предположениями. Модель обучалась на сочетании данных, наблюдаемых в живых условиях и полученных в имитационных средах. Данный подход позволил обеспечить широкий спектр ситуаций, включая те, которые невозможно реализовать в реальной среде. ## Результаты Исследования показали, что IVA значительно улучшает точность распознавания ложных предположений (на 97.56%) по сравнению с базовыми моделями. Также возрос успешность ответа на задачи с ложными предположениями (на 50.78%). Это достигнуто благодаря контекстно уточняемой структуре языковых запросов и использованию семиклассового подхода в обучении модели. Модель демонстрирует высокую резильтативность в обнаружении и корректировке ложных предположений, что улучшает надежность работы модели в реальных условиях. ## Значимость Предложенный подход может быть применен в различных областях, где VLA модели применяются в сочетании с робототехникой и управлением. Особенно полезен для систем, работающих в условиях неопределенности и несогласованности в командах пользователей. Основное преимущество IVA заключается в его способности естественным языком уточнять некорректные запросы, что уменьшает частоту ошибок и повышает эффективность. Будущие исследования будут направлены на допол