SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation

#### Контекст Область исследований, охватывающая динамические и реального времени задачи управления роботами, широко распространена в современных робототехнических системах. Одним из ключевых аспектов этой области является создание эффективных методов визуального сервирования (visual servoing) для обеспечения точного и реактивного управления. Роботы, оперирующие в реальном времени, должны быть высокоточными в понимании и реагировании на свое окружение. Это становится особенно важно при работе в условиях, которые могут быть нестандартными — таких как быстрые изменения освещения, моторный шум или цензурные препятствия. Одним из самых обещающих подходов для решения этих проблем являются event-based vision системы. Эти системы используют event cameras, которые предлагают микросекундную задержку, высокую динамику диапазона и низкое энергопотребление. Однако, несмотря на эти преимущества, использование event cameras в области robotic policy learning и synthetic event-based vision все еще остается необоснованным в многих стандартных робототехнических симуляторах. Это ограничение существенно снижает возможность проверки и оптимизации event-driven политик в реальном времени. #### Метод В данной работе представлен SEBVS (Synthetic Event-based Visual Servoing) — современный подход к синтетическому event-based vision, ориентированный на поддержку robotic policy learning. SEBVS является открытым исходным кодом и является основополагающим пакетом для ROS (Robot Operating System) в симуляторе Gazebo. Он позволяет генерировать event streams из RGB-камер, что делает его идеальным инструментом для моделирования и экспериментирования с event-based systems в реальном времени. Этот подход предоставляет платфоrmу для тренировки, оценки и оптимизации event-driven политик в различных сценариях — от обычного обнаружения и слежения за объектом до более сложного обнаружения, захвата и манипулирования. SEBVS также поддерживает поведенческое копирование (behavior cloning) для тренировки transformer-based event-driven политик. Этот подход позволяет создавать эффективные модели для обработки event-based сигналов и их интеграции в роботские системы. #### Результаты Для оценки эффективности SEBVS и event-driven политик были проведены ряд экспериментов в симуляторе Gazebo. Были созданы две основные сценарии: (1) **mobile robot object following** и (2) **robotic manipulator object detection and grasping**. В качестве тестовых данных использовались event streams, сгенерированные SEBVS из RGB-камер. Эти сигналы были использованы для тренировки transformer-based event-driven политик с помощью поведенческого копирования (behavior cloning). Эксперименты показали, что event-driven политики показывают высокую точность и реактивность, даже при условиях изменения освещения, моторного шума и затухания. Эти политики также постоянно демонстрируют высокую эффективность по сравнению с RGB-based политиками. #### Значимость Результаты эк