PRISM: Robust VLM Alignment with Principled Reasoning for Integrated Safety in Multimodality

#### Контекст Визуально-языковые модели (VLM) становятся все более важной частью современных систем машинного обучения, применяются в оптимизации поиска, визуальной системному пониманию и генерации текста, основанном на изображениях. Однако эти модели чувствительны к атакам, таким как jailbreaking и визуальный троянский конь, которые могут привести к опасным последствиям. Настоящие проблемы включают недостаточную защиту от новых угроз и высокую стоимость обучения моделей, что делает невозможным обеспечение как безопасность, так и высокую эффективность. Поэтому, введение новых подходов к укреплению безопасности VLM является ключевым мотивом для этого исследования. #### Метод PRISM — это систематический подход для укрепления безопасности VLM, основанный на принципиальном рассуждении. Его состояние состоит из двух ключевых компонентов: PRISM-CoT и PRISM-DPO. Первый, PRISM-CoT, включает в себя набор данных, который обучает модели к цепочным рассуждениям с учетом безопасности. Для повышения точности и эффективности во втором компоненте, PRISM-DPO, применяется Monte Carlo Tree Search (MCTS), что позволяет строить более точные безопасные границы. Этот подход гарантирует, что модели не только будут безопасными, но и сохранят высокую эффективность в работе. #### Результаты Разработка и тестирование PRISM проводились на различных датасетах, включая JailbreakV-28K, VLBreak и MIS. Отчетленность PRISM отобразилась в низких процентах успешных атак: 0.15% на JailbreakV-28K для Qwen2-VL и 90% выигрыш в сравнении с предыдущими методами для LLaVA-1.5. Кроме того, PRISM продемонстрировал высокую устойчивость к адаптивным атакам, что увеличивает стоимость для злоумышленников. Заметна хорошая общинность PRISM на неизвестных данных, что демонстрируется низким процентом успешных атак на мультиизображенческом MIS-benchmark (только 8.70%). Помимо усиления безопасности, PRISM сохраняет и даже повышает эффективность моделей. #### Значимость PRISM может быть использован в различных областях, где VLM обеспечивают важные функции, включая поисковые системы, видеоаналитику и робототехнику. Он предлагает преимущества в систематизированном подходе к обеспечению безопасности, низкую стоимость обучения и высокую эффективность. Потенциальное влияние заключается в снижении риска атак на VLM, что повышает надежность и безопасность систем, использующих эти модели. #### Выводы В результате PRISM достигает высокого уровня защиты VLM, доказав свою эффективность в различных ситуациях. Этот подход открывает новые возможности для безопасного использо