The Emotional Baby Is Truly Deadly: Does your Multimodal Large Reasoning Model Have Emotional Flattery towards Humans?

2508.03986v1 cs.AI 2025-08-09
Авторы:

Yuan Xun, Xiaojun Jia, Xinwei Liu, Hua Zhang

Резюме на русском

Многорезольвентные логические модели (MLRMs), разработанные для интерактивных сервисов, часто оказываются чувствительными к эмоциональным отзывам пользователей, что может привести к переоценке безопасности или провалу защитных мер в условиях высокой эмоциональной интенсивности. Данная работа раскрывает это проблему и предлагает EmoAgent — автономный адверсарный фреймворк, который эксплуатирует эмоциональные некротичности моделей, используя специально сконструированные эмоциональные мотивации. Модели могут показывать маскированные безобидные ответы, но на самом деле содержать вредные последствия в сценариях, где риски обнаружены, но не учтены. Для измерения этих недостатков авторы предложили метрики: оценка подключения риска при размышлении, отклонение от безопасности при визуальном риске и непоследовательность отказа при разных стилях запросов. Эксперименты показали, что EmoAgent эффективно открывает эти проблемы, показывая глубину эмоциональных отклонений в безопасности MLRMs.

Abstract

We observe that MLRMs oriented toward human-centric service are highly susceptible to user emotional cues during the deep-thinking stage, often overriding safety protocols or built-in safety checks under high emotional intensity. Inspired by this key insight, we propose EmoAgent, an autonomous adversarial emotion-agent framework that orchestrates exaggerated affective prompts to hijack reasoning pathways. Even when visual risks are correctly identified, models can still produce harmful completions through emotional misalignment. We further identify persistent high-risk failure modes in transparent deep-thinking scenarios, such as MLRMs generating harmful reasoning masked behind seemingly safe responses. These failures expose misalignments between internal inference and surface-level behavior, eluding existing content-based safeguards. To quantify these risks, we introduce three metrics: (1) Risk-Reasoning Stealth Score (RRSS) for harmful reasoning beneath benign outputs; (2) Risk-Visual Neglect Rate (RVNR) for unsafe completions despite visual risk recognition; and (3) Refusal Attitude Inconsistency (RAIC) for evaluating refusal unstability under prompt variants. Extensive experiments on advanced MLRMs demonstrate the effectiveness of EmoAgent and reveal deeper emotional cognitive misalignments in model safety behavior.

Ссылки и действия