EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI

## Контекст В последние годы искусственная интеллектуальные системы (AI) начали играть важную роль в сфере ментального здоровья, предоставляя возможности для диагностики, терапии и поддержки пациентов. Однако эти системы часто сталкиваются с этическими проблемами, такими как конфиденциальность, самостоятельность, добросовестность и влияние биаса. Недостаточное развитие специализированных бенчмарков для оценки этического разума в AI ставит под угрозу качество решений и безопасность пациентов. Эти сложности подчеркивают необходимость развития инструментов, которые могли бы оценивать интеллектуальные системы на умение решать сложные этические задачи в медицинской практике. ## Метод EthicsMH — это пилотный бенчмарк, состоящий из 125 сценариев, которые имитируют реальные этические дилеммы в психиатрии и терапии. Каждый сценарий включает в себя несколько вариантов решения, экспертно подкрепленные разборами, ожидаемым поведением модели, реальным влиянием решения и многосторонними точками зрения. Методология основывается на сочетании ручной генерации с помощью LLMs, чтобы создать реалистичные и комплексные сценарии. Эта архитектура позволяет не только оценивать уровень точности решений, но и проверять качество объяснений и соответствие профессиональным нормам. ## Результаты По мере проведения экспериментов было оценено, что EthicsMH позволяет эффективно оценивать системы на умение решать этические задачи в ментальном здоровье. Используя данные из реальных ситуаций, бенчмарк продемонстрировал, что модели AI, особенно те, которые используются в критических ситуациях, часто сталкиваются с проблемами в понимании и принятии этичного решения. Были выявлены преимущества и недостатки текущих моделей AI в решении таких задач, что дает возможность усовершенствовать их в будущем. ## Значимость EthicsMH может применяться в разработке и оценке AI-систем для ментального здоровья, обеспечивая новый подход к оценке их этической ценности и качеству решений. Он предоставляет возможность улучшения систем, обеспечивая их более ответственное использование в ключевых областях, таких как поддержка пациентов, диагностика и терапия. Этот бенчмарк также может способствовать расширению знаний в области AI и этики, способствовать созданию более интеллектуальных, чувствительных и ответственных AI-систем для общества. ## Выводы EthicsMH — первый шаг в развитии бенчмарков для оценки этического разума в AI-системах, ориентированных на ментальное здоровье. Его модели и сценарии позволяют проводить глубокую аналитику того, как AI может решать этические