Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge

## Контекст Обеспечение безопасности в интерактивных диалогах широко применяемых технологий, таких как Логические Лингвистические Модели (LLM), является критическим в подобных сферах, как медицинская помощь, психологическая поддержка или юридические консультации. Особенно важной является оценка безопасности в разговорах, связанных с психическим здоровьем, где отсутствие золотого стандарта и этическая чувствительность сделали эту задачу одной из самых актуальных и сложных в области искусственного интеллекта. Существующие методы оценки безопасности часто ограничиваются ссылочным подходом, требующим предоставления стандартизированных ответов или текстов, что не всегда доступно в реальных ситуациях. Необходимо разработать более универсальный, гибкий и интерпретируемый подход к оценке безопасности, который может работать в условиях отсутствия готовых стандартов. ## Метод Мы предлагаем LLM-as-Judge, продвинутый подход, который использует технологию создания контекстов (prompt-based) для оценки безопасности LLM-ответов в сфере психического здоровья. В этой модели активно используются специализированные цепочки рассуждений, основанные на принципах психологических интервенций, для того чтобы оценивать ответы модели. Метод предлагает бинарную оценку (точечную) на нескольких аспектах безопасности, что позволяет получать более подробные и транспартные результаты. Для того чтобы обеспечить теоретическую основу, был разработан PsyCrisis-Bench — бенчмарк, основанный на реальных диалогах по ментальному здоровью на китайском языке, включающий такие рисковые области, как самоубийственная идеология, самоповреждение и экзистенциальный тревога. Наш подход выделяется своей способностью работать без стандартных ссылок и оказывать большую транспарентность в оценке безопасности. ## Результаты Мы проводили 3600 экспериментов с целью проверить эффективность нашего подхода. Результаты показали, что LLM-as-Judge достигает наивысшего уровня согласия с оценками экспертов и выдает более понятные и транспартные мотивированные результаты. Особенно сильно показал себя наш метод в сложных ситуациях, когда отсутствуют стандартные ответы или готовые ссылки. Мы также представили высококачественный датасет на китайском языке, содержащий диалоги, связанные с самоубийством, самоповреждением и экзистенциальными проблемами. Благодаря нашей методике, мы можем предлагать более точные и интерпретируемые результаты в области безопасност