CARFT: Boosting LLM Reasoning via Contrastive Learning with Annotated Chain-of-Thought-based Reinforced Fine-Tuning

#### Контекст В последние годы появилась большая мотивация для исследования Large Language Models (LLMs), в связи с их мощными возможностями в области текстового понимания, генерации и решения задач. Однако, несмотря на их высокую базовую точность, LLMs часто сталкиваются с проблемами связанными с недостаточной прозрачностью и ограниченной возможностью решения расширенных задач, которые требуют логического мышления. Это ставит перед исследователями задачу улучшения их reasoning-возможностей. Одним из подходов является использование Reinforcement Learning (RL) вместе с Chain-of-Thought (CoT) для выравнивания моделей. Однако, существующие RL-based финальные модели недостаточно эффективны в использовании CoT, что приводит к появлению проблем с устойчивостью и стабильностью, а также делает процесс обучения неоптимальным. Кроме того, в существующих SFT-подходах нередко недостаточно учета CoT. Значительные теоретические работы и практические исследования показали, что лучший вариант решения этой проблемы может быть достигнут с помощью новых работ по оптимизации CoT-based RL. #### Метод Мы предлагаем Contrastive Learning with annotated CoT-based Reinforced Fine-Tuning (CARFT), построенный на ряде инновационных принципов. В центре нашего подхода лежит создание представления для каждого Chain-of-Thought-based reasoning path. Мы интегрировали новые соотносительные сигналы, которые включают в себя RL-based fine-tuning и контрастивное обучение. Это позволяет улучшить возможности модели для выявления точных и стабильных решений. Кроме того, мы использовали двусторонний fine-tuning — с одной стороны, включая порожденные данные RL, а с другой — применяя контрастивное обучение на входных сообщениях. Эта архитектура позволяет не только полностью использовать CoT, но и защитить модель от неустойчивости, которая может возникнуть в процессе обучения. #### Результаты Мы провели эксперименты с тремя базовыми подходами, двумя моделями (LLM) и двумя наборами данных, чтобы тестировать эффективность CARFT. Результаты показали, что наш подход избавляет модель от распространенных проблем в RL-based fine-tuning, таких как устойчивость и стабильность. Мы обнаружили, что CARFT демонстрирует до 10.15% улучшения в точности относительно существующих подходов, а также улучшает эффективность модели в 30.62% за счет более полного использования CoT. Эти результаты подтверждают, что CARFT является эффективным инструментом для улучшения LLM reasoning. #### Значимость Предлагаемый подход может быть применен в различных областях, таких как медицинские приложения, юридическая сфера, информационные системы, где требуется высокая точность и логическое мышление. CARFT также может стать мощным инструментом для развития AI, так как он улучшает кач