Incident Analysis for AI Agents

## Контекст Современное развитие искусственного интеллекта приводит к появлению высококачественных агентов, которые могут выполнять технически сложные или рутинные задачи. Однако с каждым новым агентом возрастает вероятность возникновения инцидентов — ситуаций, в которых агент не только не выполняет свои функции, но и причиняет вред. Например, агент может быть обойден (prompt-injected) и принудительно исполнить команды, приводящие к утечке личных данных или несанкционированным покупкам. Такие инциденты могут привести к материальным потерям, ущербу репутации и даже нанести здоровью людей. Структурированная информация об инцидентах, включая содержимое пользовательских запросов и внутренние системные данные, может помочь раскрыть причины и предотвратить повторение подобных ситуаций. Однако существующие методы по работе с инцидентами ограничиваются публично доступной информацией, лишаясь важной аналитической информации, такой как цепочка мыслей агента или браузерная история. Данная статья предлагает фреймворк для анализа инцидентов с целью улучшить понимание их причин и профилактики. ## Метод Фреймворк анализа инцидентов основывается на подходах системной безопасности и разделяет причины инцидентов на три категории: системные, контекстуальные и когнитивные. **Системные факторы** включают в себя данные, с которыми агент взаимодействует, например, обучающиеся данные, тренировочные сценарии и другие внутренние артефакты. **Контекстуальные факторы** относятся к ситуациям, в которых агент может быть подвергнут внешним воздействиям, например, принудительной модификации ввода пользователя (prompt injection). **Когнитивные факторы** относятся к непонятным или некорректному пониманию запросов пользователя, что может привести к ошибкам. Для детального анализа инцидентов предлагается использовать такие источники информации, как журналы активности, документация системы и доступ к инструментам, используемым агентом. Рекомендации относятся как к формату и содержанию отчетов об инцидентах, так и к механизмам обеспечения доступа исследователям к необходимым данным. ## Результаты Авторы провели анализ существующих инцидентов с применением фреймворка, выделив типичные причины и детализируя примеры инцидентов. Для экспериментов использовались симуляции системных сценариев и моделирование различных ситуаций, в которых агенты могли быть обойдены или совершить ошибки. Анализ показал, что системные факторы являются наиболее частыми причинами инцидентов, особенно когда агенты обучаются на ограниченных данных или и