CAC-CoT: Connector-Aware Compact Chain-of-Thought for Efficient Reasoning Data Synthesis Across Dual-System Cognitive Tasks

## Контекст Проблематика обучения Large Language Models (LLMs) в области создания структурированных цепочек мыслей (Chain-of-Thought, CoT) для решения сложных задач является текущим объектом интереса в машинном обучении. Несмотря на то, что CoT-prompting позволяет LLMs решать сложные проблемы, очень длинные цепочки мыслей часто приводят к замедлению процесса рассуждения и даже к ухудшению качества решения задач, особенно в случае быстрых, интуитивных "System-1" задач. Одной из основных мотиваций является создание более эффективных техник CoT-prompting, которые бы стабильно обеспечивали высокое качество решения задач, сочетая сокращенные и структурированные цепочки мыслей с быстротой и эффективностью. ## Метод Метод CAC-CoT (Connector-Aware Compact Chain-of-Thought) предлагает сократить цепочки мыслей, используя фиксированный набор коннекторов (connector phrases). Эти коннекторы руководят моделью к созданию компактных и структурированных рассуждений, уменьшая длину цепочки мыслей без потери точности. Метод основывается на модели Gemini-2.0-Flash, которая строит компактные цепочки мыслей с помощью ограниченного набора коннекторов. Это позволяет модели лучше сфокусироваться на целевой задаче, уменьшая раздутые цепочки мыслей. ## Результаты Эксперименты проводились на двух типах задач: System-2 (GSM8K и GPQA) и System-1 (S1-Bench). Результаты показали, что CAC-CoT достигает примерно 85% точности на GSM8K и примерно 40% на GPQA, не ухудшаясь на GSM8K. Для S1-Bench, CAC-CoT сохраняет примерно 90% точности, что указывает на сбалансированность между System-1 и System-2 задачами. Одним из ключевых результатов является сокращение длины цепочек мыслей до примерно 300 токенов (ART), что составляет примерно одну треть длины цепочек базовых моделей, не приводя к ухудшению точности. ## Значимость CAC-CoT трансформирует технологию CoT-prompting, предлагая эффективный подход для создания структурированных цепочек мыслей, который может использоваться в области решения сложных задач. Он показывает сильные преимущества в системах, требующих быстрого вывода без потери точности. Инновационность CAC-CoT заключается в его удобстве для применения в реальном мире, где требуется компактность и эффективность. Это может иметь значительное влияние на применение LLMs в сферах, где необходима быстрая интуитивная обработка данных. ## Выводы CAC-CoT достигает баланса между эффективностью и точностью, позволяя LLMs быстро решать быстрые задачи, не ухудшаясь на сложных задачах. Будущие исследования могут сосредоточиться на улучшении коннекторов, исследовании других моделей