Ethics2vec: aligning automatic agents and human preferences

## Контекст Современные интеллектуальные агенты, предназначенные для улучшения человеческого опыта и оптимизации процессов, часто сталкиваются с проблемой выравнивания своих ценностей с теми, которые характерны для людей. Этот вопрос, известный как проблема выравнивания (alignment), является одной из самых сложных задач в развитии искусственного интеллекта. Она решается необходимостью создания систем, которые будут соответствовать человеческим ценностям, целям и предпочтениям. Дополнительная сложность заключается в том, что многие человеческие этические ценности являются "немеряными" (incommensurable), то есть нельзя измерить или сравнить напрямую. Например, будучи медицинским агентом, как можно взвесить значение человеческой жизни и стоимость лечения? Этот мотив привел к созданию Ethics2Vec, который предлагает метод представления этических ценностей в виде векторных пространств, позволяющих выравнивать агентские решения с человеческими приоритетами. ## Метод Ethics2Vec расширяет подход Anything2vec, успешно применяемый в таких областях, как естественно-языковые процессы и рекомендационные системы. Он предлагает преобразовать агентскую стратегию принятия решений в многомерный вектор. Этот вектор можно использовать для сравнения и оценки выравнивания с человеческими ценностями. В первую очередь, метод был применен к агентам, принимающим бинарные решения. Далее, была рассмотрена векторизация автоматического контрольного закона, например, в системах автономного вождения. Это позволяет расширить Ethics2Vec на более сложные ситуации, где решения зависят от многих переменных. ## Результаты Для проверки концепции были проведены эксперименты с бинарными решениями, в которых Ethics2Vec позволил выявить мотивы и приоритеты, проявляемые агентом. Для комплексных решений, таких как автоматический контроль, было продемонстрировано, как векторное представление может отражать ценности, которые следует учитывать при принятии решений в условиях неопределенности и ситуативных зависимостей. Научные результаты показали, что Ethics2Vec может выступать как инструмент для сравнения различных систем этических решений, а также для оценки того, насколько хорошо агент выравнивает свои решения с человеческими предпочтениями. ## Значимость Ethics2Vec может быть применен в различных областях, в том числе в медицине, в сфере автоматизированных систем и даже в системах рекомендаций. Его основное преимущество заключается в том, что он предоставляет метрику для оценки ценностных приоритетов, которая может быть использована для выявления проблем в выравнивании и для улучшения решений. Потенциально, это может привести к более мотивированно