Non-Iterative Symbolic-Aided Chain-of-Thought for Logical Reasoning

2508.12425v1 cs.AI, cs.CL 2025-08-19
Авторы:

Phuong Minh Nguyen, Tien Huu Dang, Naoya Inoue

Резюме на русском

## Контекст В статье рассматривается область логического разума в крупных языковых моделях (LLMs), которая широко используется в задачах связанных с принятием решений, доказательствами и анализом. Одним из главных задач данной области является улучшение транспарентности и интерпретируемости решений, получаемых моделями. Несмотря на высокую точность LLMs в простых задачах, в сложных задачах, требующих навигации по множеству правил и ограничений, их поведение часто остается неочевидным. Этот факт приводит к необходимости в разработке методов, обеспечивающих более прозрачное понимание логического моделирования. Мотивация для разработки новых подходов к логическому рассуждению в LLMs опирается на эти проблемы. ## Метод Методом решения данной проблемы является **Symbolic-Aided Chain-of-Thought (CoT)** — усовершенствованный подход к стандартной цепочке мышления. Основная идея заключается в интеграции символических представлений в маловыборочные (few-shot) подсказки, что позволяет структурировать решение задач с использованием последовательной стратегии. Эти символические структуры помогают делать модели более ясными, позволяя понять их логическую структуру. Архитектура метода не требует итеративного подхода, а вместо этого, основывается на неитеративном, но структурированном процессе рассуждения. Чтобы оценить эффективность этого подхода, были проведены эксперименты на четырёх выборках данных: ProofWriter, FOLIO, ProntoQA и LogicalDeduction. ## Результаты В ходе экспериментов было показано, что Symbolic-Aided CoT позволяет значительно улучшить логическое моделирование LLMs. Метод показал свою эффективность в сравнении с классическим CoT, особенно в задачах, требующих работы с множеством правил и ограничений. На двух из четырёх выборок (ProntoQA и LogicalDeduction) Symbolic-Aided CoT показал существенное превосходство над традиционным CoT. Также были проанализированы результаты на разных размерах моделей, что подтвердило гибкость и универсальность этого подхода. ## Значимость Применение данного подхода может быть реализовано в различных областях, где необходима прозрачность и контролируемость логических решений, таких как бизнес-анализ, юридическое моделирование, информационные системы. Одним из преимуществ является улучшение транспарентности и интерпретируемости, что может повысить доверие к решениям, сделанным LLMs. Этот подход также может иметь потенциал для создания более эффективных систем, которые могут быть легко анализированы и модифицированы для конкретных задач. ## Выводы Symbolic-Aided Chain-of-Thought представляет собой эффективный подход к улучшению логического моделирования в

Abstract

This work introduces Symbolic-Aided Chain-of-Thought (CoT), an improved approach to standard CoT, for logical reasoning in large language models (LLMs). The key idea is to integrate lightweight symbolic representations into few-shot prompts, structuring the inference steps with a consistent strategy to make reasoning patterns more explicit within a non-iterative reasoning process. By incorporating these symbolic structures, our method preserves the generalizability of standard prompting techniques while enhancing the transparency, interpretability, and analyzability of LLM logical reasoning. Extensive experiments on four well-known logical reasoning benchmarks -- ProofWriter, FOLIO, ProntoQA, and LogicalDeduction, which cover diverse reasoning scenarios -- demonstrate the effectiveness of the proposed approach, particularly in complex reasoning tasks that require navigating multiple constraints or rules. Notably, Symbolic-Aided CoT consistently improves LLMs' reasoning capabilities across various model sizes and significantly outperforms conventional CoT on three out of four datasets, ProofWriter, ProntoQA, and LogicalDeduction.

Ссылки и действия