Dissecting Tool-Integrated Reasoning: An Empirical Study and Analysis

## Контекст Бо LLM (large language models) показали свою эффективность в различных рассуждающих задачах, особенно с применением методов цепочки мыслей (chain-of-thought, CoT). Однако, несмотря на эти успехи, LLMs часто сталкиваются с проблемами в выполнении задач, требующих точных вычислений. Такие задачи часто приводят к перебору вариантов или "overthinking", что сказывается на эффективности и точности решений. Tool-Integrated Reasoning (TIR) — это новая подход, включающий внешние инструменты в процесс рассуждения. Он позволяет LLMs использовать специальные инструменты для точных вычислений, уменьшая необходимость в переборе вариантов. Несмотря на это, недостаточно изучена проблема общей эффективности TIR в различных областях. Кроме того, неясно, насколько TIR влияет на улучшение рассуждающего поverья LLMs и на способность к более подробному и структурированному мышлению. Для оценки эффективности TIR в различных сферах рассуждения и изучения его влияния на рассуждающие модели, мы предложили ReasonZoo — широкомасштабный бенчмарк, охватывающий 9 областей рассуждения. Мы также разработали два новых показателя: Performance-Aware Cost (PAC) и Area Under the Performance-Cost Curve (AUC-PCC), для оценки рассуждающей эффективности. ## Метод ReasonZoo — это комплексный бенчмарк, который включает задачи из 9 различных областей рассуждения, например: числовые вычисления, логические задачи, текстовое понимание и т.д. Этот бенчмарк разработан для оценки качества рассуждения LLMs, использующих инструменты в своих рассуждениях. Мы также предложили два новых метрики для оценки рассуждающей эффективности: 1. **Performance-Aware Cost (PAC)** — это метрика, которая измеряет уровень точности рассуждения в зависимости от затраченных ресурсов (например, времени или вычислительных ресурсов). 2. **Area Under the Performance-Cost Curve (AUC-PCC)** — это показатель, отображающий эффективность рассуждения в целом, учитывая как точность, так и затраты на вычисления. Мы применяем эти метрики для оценки различных моделей с и Sans TIR и с TIR, чтобы выявить значимость и влияние инструментов на рассуждающие модели. ## Результаты Мы провели многочисленные эксперименты с различными моделями, определив, насколько TIR влияет на эффективность и точность рассуждений. Наши результаты показали, что TIR-enabled модели (модели с интегрированными инструментами) показывают значительные улучшения в областях математических и нематематических задач по сравнению с моделями без инструментов. Мы также обнаружили, что TIR уменьшает "overthinking", что влечет за собой уменьшение времени обработки и улучшение PAC и AUC-PCC. Это означает, что TIR позволяет моделям принимать более осмысленные решения, с меньшим количеством нен