Understanding the Process of Human-AI Value Alignment

#### Контекст **Value alignment** — это ключевый аспект в исследованиях машинного обучения и искусственного интеллекта, означающий процесс привязки алгоритмов и систем к ценностям и приоритетам человеческого общества. Однако в научной литературе словосочетание "value alignment" используется в разном контексте, часто без четкой характеристики. Это может привести к неточностям в понимании и реализации этого понятия. Целью данной работы является определение более точного определения "value alignment" и изучение его тематического контекста в современной научной литературе. #### Метод Для анализа была проведена систематическая литературная рецензия, включающая 172 статей, посвященных теме value alignment. Методология основывается на тематическом анализе, позволяющем выявить ключевые темы и характеристики в литературе. Авторы использовали библиографические источники, фильтрацию по темам и синтезирование выводов для построения более точной схемы знаний в области. #### Результаты Результатом работы была выявлена шесть тематик, связанных с value alignment: 1. **Драйверы и подходы к value alignment** — факторы, влияющие на процесс привязки ценностей. 2. **Проблемы в value alignment** — трудности в процессе балансировки ценностей. 3. **Ценности в value alignment** — различные виды ценностей, влияющих на решения в AI. 4. **Когнитивные процессы у людей и AI** — способность людей и систем обрабатывать ценности. 5. **Human-agent teaming** — взаимодействие людей и агентов AI в командных системах. 6. **Designing and developing value-aligned systems** — технические и этические аспекты создания ценностно-аллигенированных систем. #### Значимость Выявленные темы имеют широкое применение в различных областях, включая промышленность, здравоохранение, робототехнику и другие. Основное преимущество данного исследования в том, что оно предлагает четкую терминологию и понимание ценностного выравнивания, что помогает облегчить развитие технологий, соответствующих человеческим ценностям. Потенциальное влияние заключается в улучшении значимости и эффективности разработки AI-систем. #### Выводы Авторы определили value alignment как динамический процесс, в котором люди и AI-системы сотрудничают для выражения и реализации ценностей в разных контекстах. Они также выделили основные трудности и возможности для будущих исследований, включая необходимость развития методов для управления когнитивными ограничениями, балансировки этических точек зрения и улучшения технологий human-agent teaming. Будущие исследования должны ориентироваться на улучшение направленности систем AI на ценности человечества.