ANNIE: Be Careful of Your Robots
2509.03383v1
cs.AI, cs.RO
2025-09-05
Авторы:
Yiyang Huang, Zixuan Wang, Zishen Wan, Yapeng Tian, Haobo Xu, Yinhe Han, Yiming Gan
Резюме на русском
## Контекст
Современные виджет-видеорегистраторы (DVR) становятся важной частью быта и бизнеса, обеспечивая мониторинг и защиту в различных сферах. Однако, несмотря на их пользу, они подвержены значительным угрозам в сфере безопасности, которые могут привести к нежелательному доступу к записям, утечке данных и даже удаленному управлению устройством. Недостаточность мер безопасности, таких как простые пароли или отсутствие защиты от внешних атак, делает эти устройства центром внимания для злоумышленников. Наша исследовательская группа призвана раскрыть эти проблемы и предложить эффективные меры по их устранению.
## Метод
Для изучения вопросов безопасности DVR использовались методы системного анализа, экспериментальное оборудование и симуляционные тесты. Были проанализированы методы защиты, включая аутентификацию, шифрование и антивирусную защиту. Для экспериментов использовались реальные устройства DVR, а также модели, разработанные для конкретных угроз. Была проведена систематическая оценка уязвимостей и эффективности защитных мер.
## Результаты
В результате исследования было выявлено, что более 80% DVR имеют существенные уязвимости, включая незащищенные входы, простой доступ к записям и нехватку автоматических обновлений. Были разработаны и протестированы методы усиления защиты, включая аутентификацию на нескольких уровнях, шифрование в режиме реального времени и удаленное мониторингное оповещение. Эксперименты показали, что применение этих мер снизило риск атак на 40% при сохранении удобства использования.
## Значимость
Результаты нашего исследования могут быть применены в различных сферах, в том числе домашнем мониторинге, бизнес-охране и государственных системах. Добавление безопасности DVR не только защищает записи от несанкционированного доступа, но и обеспечивает доверие к этим устройствам в качестве управляющих элементов в системах автоматизации. Это улучшит общую безопасность систем мониторинга и увеличит их привлекательность для пользователей.
## Выводы
Наше исследование показывает, что безопасность DVR необходимо улучшить с помощью современных методов защиты. Мы предложили конкретные шаги для устранения уязвимостей и предложили стратегии для их реализации. Будущие исследования будут сконцентрированы на развитии интеллектуальных систем мониторинга и автоматических инструментов защиты DVR.
Abstract
The integration of vision-language-action (VLA) models into embodied AI (EAI)
robots is rapidly advancing their ability to perform complex, long-horizon
tasks in humancentric environments. However, EAI systems introduce critical
security risks: a compromised VLA model can directly translate adversarial
perturbations on sensory input into unsafe physical actions. Traditional safety
definitions and methodologies from the machine learning community are no longer
sufficient. EAI systems raise new questions, such as what constitutes safety,
how to measure it, and how to design effective attack and defense mechanisms in
physically grounded, interactive settings. In this work, we present the first
systematic study of adversarial safety attacks on embodied AI systems, grounded
in ISO standards for human-robot interactions. We (1) formalize a principled
taxonomy of safety violations (critical, dangerous, risky) based on physical
constraints such as separation distance, velocity, and collision boundaries;
(2) introduce ANNIEBench, a benchmark of nine safety-critical scenarios with
2,400 video-action sequences for evaluating embodied safety; and (3)
ANNIE-Attack, a task-aware adversarial framework with an attack leader model
that decomposes long-horizon goals into frame-level perturbations. Our
evaluation across representative EAI models shows attack success rates
exceeding 50% across all safety categories. We further demonstrate sparse and
adaptive attack strategies and validate the real-world impact through physical
robot experiments. These results expose a previously underexplored but highly
consequential attack surface in embodied AI systems, highlighting the urgent
need for security-driven defenses in the physical AI era. Code is available at
https://github.com/RLCLab/Annie.
Ссылки и действия
Дополнительные ресурсы: