Understanding Tool-Integrated Reasoning

#### Контекст Large Language Models (LLMs) достигли великолепных успехов в области текстовых задач, но их возможности в области решения комплексных задач, требующих логического рассуждения и вычислительных ресурсов, до сих пор ограничены. Tool-Integrated Reasoning (TIR) — это подход, в котором LLMs интегрируются с внешними инструментами, такими как программные интерпретаторы или факт-деревья, для расширения их возможностей. Несмотря на прорывную эффективность этого подхода, не было до сих пор классического формального обоснования, почему именно внедрение инструментов улучшает способности LLMs. Это проблема усложняется тем, что существующие методы по-прежнему не могут объяснить, почему именно инструменты позволяют LLMs решать задачи с более высоким уровнем абстракции и комплексности. Целью данного исследования является осмысление принципа действия TIR и его конкретных потенциальных применений. #### Метод Проведено обширное исследование, включающее анализ существующих подходов к интеграции инструментов с LLMs. Архитектура исследования основывается на предложенной новой методологии, **Advantage Shaping Policy Optimization (ASPO)**, которая отличается своей уникальной стратегией назначения привилегий для конкретных действий, оптимизируя поведение агента. Методом является глубокое углубление в архитектурные решения, включая разработку алгоритмов, способных учитывать не только сигналы от награды, но и контекстное знание. Ключевым аспектом является использование внешнего инструмента (на примере Python-интерпретатора) для осуществления вычислительных операций и извлечения сложных знаний. Изучение этих процессов проводилось на сложных математических задачах, где LLMs были оценены по метрике pass@k. #### Результаты В ходе экспериментов было показано, что интеграция инструментов с LLMs приводит к приросту в их возможностях на 25% в сравнении с чисто текстовыми моделями. Исследования показали, что TIR расширяет область решаемых задач, от сложных вычислительных задач до задач, требующих сильной абстрактной аналитики. Были выявлены специфические шаблоны поведения, наблюдавшиеся при использовании инструментов, например, раннее применение кода и более интерактивное взаимодействие. Это позволило установить, что TIR позволяет LLMs не только решать задачи, но и формировать логические стратегии, которые были бы недоступны в чисто текстовой модели. #### Значимость Результаты имеют значительное значение для области ИИ, поскольку они демонстрируют, что инструменты могут не только расширить возможности LLMs, но и изменить их способность вести абстрактное рассуждение. Этот парадигменный переход от простого взаимодействия с инструментами