PhysPatch: A Physically Realizable and Transferable Adversarial Patch Attack for Multimodal Large Language Models-based Autonomous Driving Systems
2508.05167v1
cs.CV
2025-08-09
Авторы:
Qi Guo, Xiaojun Jia, Shanmin Pang, Simeng Qin, Lin Wang, Ju Jia, Yang Liu, Qing Guo
Резюме на русском
**Резюме**
В последнее время multimodal large language models (MLLMs) нашли применение в системах автономного управления транспортом (AD), причем их визуально-языковые возможности становятся ключевыми для работы в таких средах. Однако эти модели оказались уязвимы к атакам, особенно к атакам с использованием адверсарных патчей. Традиционные методы атак, ориентированные на объектно-ориентированные модели, неэффективны при переходе к MLLM-based AD, из-за сложности их архитектур и возможности рационального разума.
Мы предлагаем **PhysPatch**, новую фреймворк-реализацию атак с использованием адверсарных патчей, которая является физически реализуемой и переносимой. PhysPatch оптимизирует расположение, форму и содержание патча, что позволяет увеличить его эффективность и применимость в реальном мире. Метод включает в себя стратегию инициализации масок на основе семантики, локальный выравнивающий потенциал на основе SVD, а также метод рефинирвоания маски на основе потенциальных полей. Наши эксперименты показали, что PhysPatch значительно превосходит предыдущие подходы в том, что он успешно приводит модели MLLM к целевым результатам во время планирования и осведомленности. Более того, PhysPatch гарантирует, что патчи будут размещены в физически реализуемых областях сцен AD, что делает это решение применимо и эффективно в реальных условиях.
Abstract
Multimodal Large Language Models (MLLMs) are becoming integral to autonomous
driving (AD) systems due to their strong vision-language reasoning
capabilities. However, MLLMs are vulnerable to adversarial attacks,
particularly adversarial patch attacks, which can pose serious threats in
real-world scenarios. Existing patch-based attack methods are primarily
designed for object detection models and perform poorly when transferred to
MLLM-based systems due to the latter's complex architectures and reasoning
abilities. To address these limitations, we propose PhysPatch, a physically
realizable and transferable adversarial patch framework tailored for MLLM-based
AD systems. PhysPatch jointly optimizes patch location, shape, and content to
enhance attack effectiveness and real-world applicability. It introduces a
semantic-based mask initialization strategy for realistic placement, an
SVD-based local alignment loss with patch-guided crop-resize to improve
transferability, and a potential field-based mask refinement method. Extensive
experiments across open-source, commercial, and reasoning-capable MLLMs
demonstrate that PhysPatch significantly outperforms prior methods in steering
MLLM-based AD systems toward target-aligned perception and planning outputs.
Moreover, PhysPatch consistently places adversarial patches in physically
feasible regions of AD scenes, ensuring strong real-world applicability and
deployability.
Ссылки и действия
Дополнительные ресурсы: