DoubleAgents: Exploring Mechanisms of Building Trust with Proactive AI

## Контекст Динамические и agentic системы, которые действуют на бэкграунде, обещают повысить эффективность, но их принятие зависит от уровня доверия пользователей к технологиям, действующим от их имени. Это доверие определяется степенью прозрачности системы, контроля, который она предоставляет, и того, насколько эффективно она адаптируется к пользовательским потребностям. Несмотря на развитие AI, многие пользователи страдают от "мыслительного брешя", когда они предпочитают отказаться от системы в пользу ручного управления. Этот феномен становится ключевым барьером для распространения прозрачных и agentic систем. Мотивацией для DoubleAgents является создание прозрачной и контролируемой системы, которая позволяет пользователям узнать, насколько можно доверять AI, и как эффективно его использовать. ## Метод DoubleAgents — это agentic planning tool, который интегрирует несколько механизмов для построения доверия. Он включает в себя: 1. **Расширенную прозрачность**: Отображение текущего состояния и истории действий системы. 2. **Значение-ориентированные политики**: Система адаптируется к пользовательским значениям, чтобы принимать решения, отражающие их приоритеты. 3. **Прояснение неопределенности**: Отображение неопределенности в решениях и предложении возможности интервенции. 4. **Имитационный модуль**: Обучающий модуль, позволяющий пользователям тестировать и развивать свои стратегии в условиях реальной ситуации. 5. **Проверка неопределенности**: Флаги неопределенности в решениях, которые могут потребовать вмешательства пользователя. ## Результаты В ходе лабораторного исследования (n=10) и двух реальных развертываний (n=2), DoubleAgents показал, что пользователи, сначала сомневавшиеся в доверии AI, значительно увеличили свой уровень доверия по мере улучшения прозрачности и контроля. В лабораторном эксперименте, измерявший использование и надёжность, показал, что пользователи расширяли свою инициативу в зависимости от того, насколько хорошо они понимали систему и её решения. Результаты реальных развертываний показали, что DoubleAgents мог отвечать на увеличение сложности задач и достаточно эффективно использовать контекстные данные для принятия решений. ## Значимость DoubleAgents может быть применен в различных областях, где необходимо agentic planning и доверие к системам. Он позволяет пользователям решать задачи более эффективно, снижая усилия, необходимые для ручного мониторинга. Это система с меньшей вероятностью ошибок, чем ручное управление. Одним из основных преимуществ DoubleAgents является возможность пользователя взаимодействовать с системой, учитывая её неопределенности, что позволяет не только расширить доверие к си