Exploring Autonomous Agents: A Closer Look at Why They Fail When Completing Tasks

## Контекст Современные автономные агентные системы, основанные на Large Language Models (LLMs), показали свою способность автоматизировать сложные задачи. Однако существуют существенные проблемы в их эффективности и надёжности. Основной причиной этих проблем является недостаточное понимание причин неудач при выполнении задач. Недостаточное аналитическое внимание уделяется аспектам, таким как взаимодействие, связь между субъектами и последствия неудач. Большинство оценок агентных систем основываются только на измерении успешных результатов, не исследуя возможные причины этих неудач. Данная работа направлена на устранение этой проблемы, предлагая новый подход к анализу неудач в автономных системах. ## Метод Для повышения понимания причин неудач в автономных агентных системах был разработан новый метод. Основной методологией является разработка и использование бенчмарка, состоящего из 34 представительных задач. Эти задачи были специально разработаны для систематического тестирования агентных фреймворков. Для экспериментов были использованы два популярных LLMs (LLaMA и GPT-4) и три различных фреймворка (AgentGPT, AutoGPT и BabyAGI). Оценка производилась путём анализа взаимодействий и связи внутри системы, а также исследования поведения системы в разных стадиях выполнения задачи. ## Результаты Использование нового бенчмарка позволило получить результаты, указывающие на примерно 50% успешности выполнения задач агентными системами. Это значительно ниже ожидаемого результата. Анализ неудач выявил три основных причины: ошибки в планировании, недостаточность выполнения задач и некорректное генерирование ответов. Эти проблемы были систематизированы в трехуровневую таксономию, которая позволяет отслеживать и анализировать каждую стадию процесса выполнения задачи. ## Значимость Результаты имеют большое значение в качестве новых подходов в области разработки автономных агентных систем. Изучение причин неудач позволяет определить зоны улучшения в агентных фреймворках и LLM-системах. Выявленная таксономия может быть использована для разработки более надёжных и эффективных систем, которые будут способны анализировать и корректироваться в процессе выполнения задач. Также результаты могут быть применимы в областях, где необходима высокая надёжность и результативность агентных систем, такие как системы управления, работа с данными и автоматизация. ## Выводы На основе проведённых исследований были выделены три основных причины неудач в автономных системах. Был разработан новый метод, позволяющий выявлять эти проблемы и улучшать агентные системы. Оценка успеш