Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm

#### Контекст Структурированное рассуждение — одна из ключевых задач в области технологий искусственного интеллекта, направленных на решение сложных задач, требующих логического и стратегического подхода. На сегодняшний день, существующие модели рассуждений, такие как Chain-of-Thought (CoT) и его разновидности, достигли определенных успехов. Однако, эти модели страдают от неэффективности вычислений, ограниченного рассмотрения возможных разумами и недостаточной транспарентности. Эти проблемы являются результатом того, что высокоуровневая стратегия и шаг-по-шагное выполнение смешаны в одной архитектуре. Для решения этих проблем, мы предлагаем $E^2C$ (Explore-Execute Chain) — новую модель, которая разделяет рассуждение на две отдельных фазы: эксплоре (эксплорейшн) и выполнение (экзекушн). #### Метод Методология $E^2C$ предлагает декомпозировать процесс рассуждений на два этапа: эксплоре и эксукшн. В первой фазе, $E^2C$ использует **Stochastic Exploration**, которая генерирует монолитные и краткие планы. Эти планы затем используются на этапе выполнения, где детерминированный алгоритм выполняет шаги, определяемые планом. Для обучения, мы применяем **Supervised Fine-Tuning (SFT)** с уникальным алгоритмом для строгого соблюдения планов. Далее, мы используем **Reinforcement Learning (RL)**, чтобы усилить информативность эксплоре и точность выполнения. В результате, $E^2C$ позволяет эффективно использовать ресурсы, делая рассуждение более транспаренным и эффективным. #### Результаты Мы провели эксперименты с помощью данных из AIME'2024, где $E^2C$ показал значительные улучшения в производительности. Например, в тестовой стадии, $E^2C$ Test Time Scaling достиг 58.1% точности, используя менее 10% токенов, в сравнении с другими методами (например, Forest-of-Thought). Благодаря EF-SFT (Exploration-Focused SFT), мы достигли до 14.5% выше точности на медицинских бенчмарках, чем стандартный SFT, при использовании лишь 3.5% токенов. Эти результаты демонстрируют высокую эффективность, сильное общезначимость и повышенную транспарентность $E^2C$. #### Значимость Наши результаты открывают новые возможности в области структурированного рассуждения, особенно в задачах, требующих высокого уровня транспарентности и эффективности. $E^2C$ может быть применен в различных областях, включая медицину, финансы и робототехнику. Преимущества $E^2C$ заключаются в снижении самоссогласованности, повышение точности и эффективности рассуждений. Это модель может значительно влиять на развитие ИИ в сложных интеллек