Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions

## Контекст В последние годы рост интереса к искусству искусственного интеллекта привел к развитию инструментов, которые могут помочь в решении сложных задач. Одним из таких инструментов являются бо LLM (large language models), которые могут обрабатывать и формировать тексты на естественном языке. Однако, во многих случаях, эти боты сталкиваются с проблемами в использовании инструментов, что ведет к ошибкам и неполной выполняемости задач. Одним из основных причин этих проблем является то, что текущие методы обучения не включают в себя эффективные способы диагностики и исправления ошибок. Таким образом, важно развивать методы, позволяющие агенту диагностировать свои ошибки и совершенствоваться в облегчении инструментальных задач. ## Метод Мы предлагаем метод, который позволяет значительно улучшить процесс обучения агента, учитывая возможность диагностики и исправления ошибок. Наш метод, названный Structured Reflection, заключается в том, чтобы превратить процесс диагностики и исправления ошибок в отдельный и явный этап обучения. Мы предлагаем структурированный подход к обучению, в котором агент сначала диагностирует ошибку, затем предлагает правильное исправление, и в конце концов, выполняет его. Мы используем целевую функцию DAPO и GSPO, которые оптимизируют взаимодействия агента с инструментами. Наша модель также использует субъективные оценки, которые помогают в сравнении различных вариантов решения. ## Результаты Мы провели эксперименты с нашей моделью на двух различных бенчмарках: BFCL v3 и Tool-Reflection-Bench. Эти тесты показали, что наша модель демонстрирует значительные улучшения в точности и восстановлении после ошибок, а также снижает количество ненужных вызовов инструментов. Наши результаты показывают, что улучшение точности восстановления после ошибки и снижение количества ненужных вызовов может быть достигнуто за счет контролируемого и структурированного обучения. ## Значимость Наш метод может быть применен во многих различных областях, включая интеллектуальные системы, автоматизацию бизнес-процессов и робототехнику. Этот подход может быть использован для улучшения точности и надежности инструментальных задач в системах, которые опираются на технологии LLMs. Мы думаем, что наш подход может предоставить значительное преимущество в области обучения с ошибками, так как он позволяет агенту не только диагностировать ошибки, но и постоянно улучшаться в процессе использования инструментов. ## Выводы Мы представили метод Structured Reflection, который дает значительные улучшения в точности и восстановлении после ошибок в инструментальных задачах. Наш эксперимент