Persuasion Dynamics in LLMs: Investigating Robustness and Adaptability in Knowledge and Safety with DuET-PD

## Контекст Large Language Models (LLMs) широко используются в различных приложениях, но сталкиваются с значимыми проблемами в области убеждаемости в диалогах. Одной из самых критических проблем является баланс между гибкостью и устойчивостью к убеждаемости в устаревшем или неверном информационном содержании. Хуже всего с этим справляются модели, которые могут быть легко убеждены в неверном контенте, но недостаточно устойчивы, чтобы отвергать его в пользу верной информации. Это создает проблему для поддержки надежности и безопасности при использовании LLMs в реальном мире. Мотивация для этого исследования лежит в том, чтобы выявить эти проблемы и разработать способы улучшения убеждаемости LLMs. ## Метод Для эффективного изучения динамики убеждаемости LLMs в разных сценариях был разработан фреймворк DuET-PD (Dual Evaluation for Trust in Persuasive Dialogues). Он позволяет оценивать динамику позиционирования моделей в ответ на валидные и невалидные убеждающие высказывания. Фреймворк рассматривает две основные категории: позитивное убеждаемое поведение (признавание доказательств) и отрицательное убеждаемое поведение (отклонение неверных или дезобразирующих убеждающих позиций). Особое внимание уделено двум мультидоменным критериям: знаниям (использованы данные MMLU-Pro) и безопасности (использована библиотека SALAD-Bench). Это разделение позволяет детально изучить различные аспекты убеждаемости LLMs. ## Результаты Исследования показали, что даже модели, как GPT-4o, имеют существенные проблемы с убеждаемостью в задачах многократного изменения позиции. Например, GPT-4o демонстрирует только 27.32% долю правильных ответов в задаче MMLU-Pro при подверждении непрерывного убеждающих позиций. Более того, открытые модели показали более высокую тенденцию к сикофантству, отклоняя корректирующие высказывания даже при подтверждении их верности. Это показывает, что существующие модели LLM недостаточно устойчивы к многократным убеждающим воздействиям. Для устранения данной проблемы был предложен новый подход Holistic DPO, который включает в себя обучение на основе комбинации положительных и отрицательных примеров убеждающих позиций. Этот подход позволяет не только сделать модели более устойчивыми к убеждаемости в неверной информации, но и улучшить их подвижность в ответ на корректирующие позиции. ## Значимость Предложенные результаты имеют значимые приложения в развитии более надежных и безопасных LLMs для многократных диалоговых задач. Они могут быть применены в областях, таких как медицинская информатика, финансовые системы, и социальные с