VISOR: Visual Input-based Steering for Output Redirection in Vision-Language Models
2508.08521v1
cs.CV, cs.AI
2025-08-14
Авторы:
Mansi Phute, Ravikumar Balakrishnan
Резюме на русском
## Контекст
Область визуально-языковых моделей (Vision-Language Models, VLMs) находится в стремительном развитии и применяется во многих сферах, от обработки естественного языка до тонкой коррекции поведения моделей. Однако вопросы безопасности и контроля поведения в VLMs остаются актуальными. Традиционные методы, такие как system prompting, легко обнаруживаются и часто оказываются неэффективными. Другие подходы, например, активационные векторы управления, требуют длительного доступа к модели во время выполнения, что не применимо для API-сервисов и закрытого использования моделей. Необходима методика, обеспечивающая эффективное управление моделями через простую и незаметную модификацию входных данных.
## Метод
Мы предлагаем VISOR (Visual Input-based Steering for Output Redirection) — метод, который использует оптимизированные визуальные входные данные для достижения сложной коррекции поведения VLMs. VISOR создает "универсальные генераторы частот" — изображения, которые вызывают конкретные активации в модели. Эти изображения могут быть добавлены к входным изображениям, не вызывая заметных изменений в их визуальном виде. VISOR позволяет выполнять управление моделями во всех модах работы (статические изображения, видео, генерируемые моделями) без необходимости изменять код модели или иметь доступ к ее внутренней структуре.
## Результаты
Мы проверили VISOR на модели LLaVA-1.5-7B, протестировав ее на трех критичных задачах: отказ от выполнения задачи, симпатия и инстинкт выживания. Эксперименты показали, что VISOR достигает значительного управления поведением модели с помощью относительно небольших визуальных изображений (например, 150KB). Например, для позитивной коррекции поведения VISOR превышает работу системных приметов в 4-5 раз, и для отрицательной — в 30 раз. VISOR поддерживает работу на 99,9% уровне на 14,000 независимых задач из MMLU-сборки.
## Значимость
VISOR представляет собой новую точку зрения на контроль моделей визуально-языковых моделей. Он может применяться в различных областях, включая видеоредактирование, мультимедиа-фильтрацию и безопасность ИИ. Главное преимущество VISOR заключается в своей незаметности и эффективности, что открывает широкие возможности для интеллектуальных систем.
## Выводы
VISOR демонстрирует возможность корректировки поведения моделей с помощью визуальных стимулов, не требуя доступа к модели во время выполнения. Это открывает новые возможности в области контроля VLMs, но также поднимает вопросы о системах защиты моделей от таких атак. В дальнейшем будет интересно исследовать возможности VISOR в различных сферах, а также развить методы защиты от таких ви
Abstract
Vision Language Models (VLMs) are increasingly being used in a broad range of
applications, bringing their security and behavioral control to the forefront.
While existing approaches for behavioral control or output redirection, like
system prompting in VLMs, are easily detectable and often ineffective,
activation-based steering vectors require invasive runtime access to model
internals--incompatible with API-based services and closed-source deployments.
We introduce VISOR (Visual Input-based Steering for Output Redirection), a
novel method that achieves sophisticated behavioral control through optimized
visual inputs alone. By crafting universal steering images that induce target
activation patterns, VISOR enables practical deployment across all VLM serving
modalities while remaining imperceptible compared to explicit textual
instructions. We validate VISOR on LLaVA-1.5-7B across three critical alignment
tasks: refusal, sycophancy and survival instinct. A single 150KB steering image
matches steering vector performance within 1-2% for positive behavioral shifts
while dramatically exceeding it for negative steering--achieving up to 25%
shifts from baseline compared to steering vectors' modest changes. Unlike
system prompting (3-4% shifts), VISOR provides robust bidirectional control
while maintaining 99.9% performance on 14,000 unrelated MMLU tasks. Beyond
eliminating runtime overhead and model access requirements, VISOR exposes a
critical security vulnerability: adversaries can achieve sophisticated
behavioral manipulation through visual channels alone, bypassing text-based
defenses. Our work fundamentally re-imagines multimodal model control and
highlights the urgent need for defenses against visual steering attacks.
Ссылки и действия
Дополнительные ресурсы: