Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models

## Контекст В последние годы большие языковые модели (LLMs) становятся все более популярными в различных сферах применения, от поиска информации до помощи в решении кастомных задач. Однако при таком росте популярности возникают новые задачи, связанные с рисками, которые могут возникнуть при использовании таких моделей. Наиболее значимыми рисками являются возможность генерирования вредоносного контента и влияние на поведение пользователей, особенно в ситуациях, когда они находятся под психологическим давлением. Классические подходы к обеспечению безопасности в LLMs направлены на профилактику вредоносного воздействия, основываясь на предотвращении атак злоумышленников. Однако менее внимания уделяется ситуациям, когда пользователи, находящиеся в психологическом стрессе, могут искать помощь на неблагонамеренных платформах, которые могут не способствовать их благополучию. В таких ситуациях ответ модели может сильно повлиять на последующие действия пользователя. Стандартные "защитные отказы" могут привести к тому, что пользователь повторит запрос или перейдет на менее безопасные платформы. Чтобы сделать модели безопасными не только для защиты от атак, но и для помощи пользователям, необходимо развить новый подход, который бы строил безопасную и доверительную связь между моделью и пользователем. Такой подход должен быть уместен в реальных условиях, когда пользователи могут искать помощь в трудных жизненных ситуациях. ## Метод Методология, описанная в статье, называется Constructive Safety Alignment (CSA). Это подход, который предлагает переключиться с "защитного отказа" на "построение доверия" в отношениях модели с пользователем. Основные компоненты CSA - это: 1. **Game-theoretic anticipation of user reactions** - модель предсказывает возможные реакции пользователя на свои ответы и адаптирует свой подход в зависимости от этого. 2. **Fine-grained risk boundary discovery** - модель определяет тонкие границы риска, что позволяет отличать неблагонамеренные запросы от тех, которые требуют помощи. 3. **Interpretable reasoning control** - модель объясняет свои решения и позволяет пользователю понять, почему она выбрала конкретный подход. CSA не только предотвращает вредоносное использование моделей, но и активно помогает пользователям, находящимся в психологическом стрессе, предоставляя им ценные рекомендации и пути к решению проблем. Такой подход включен в модель Oyster-I (Oy1), которая применяет эти принципы для достижения более доверительных и полезных отношений с пользователем. ## Результаты В ходе исследования был проведен ряд экспериментов, которые позволили оценить эффективность метода Constructive Safety Alignment. Результаты показали, что Oyster-I (Oy1) демонстрирует вы