ASCoT: An Adaptive Self-Correction Chain-of-Thought Method for Late-Stage Fragility in LLMs
2508.05282v1
cs.CL
2025-08-09
Авторы:
Dongxu Zhang, Ning Yang, Jihua Zhu, Jinnan Yang, Miao Xin, Baoliang Tian
Резюме на русском
**Резюме**
В последнее время Chain-of-Thought (CoT) prompting доказал свою эффективность в улучшении абстрактного разума у Large Language Models (LLMs). Однако остается критическая проблема: ошибки в рассуждениях могут быть катастрофическими, особенно если они возникают в поздних стадиях. Этот эффект, называемый **Late-Stage Fragility**, отличается от ранее принятой мысли о том, что ранние ошибки более критичны.
Чтобы справиться с этой проблемой, предлагается метод **ASCoT (Adaptive Self-Correction Chain-of-Thought)**. Он включает модульный подход: сначала работает **Adaptive Verification Manager (AVM)**, определяющий важные, рискованные шаги в конце рассуждений с помощью Positional Impact Score. Затем **Multi-Perspective Self-Correction Engine (MSCE)** применяет уточненные коррективы к проблемным частям.
На экспериментальных данных GSM8K и MATH, ASCoT демонстрирует высокую точность, превосходя альтернативы, включая стандартный CoT. Этот результат подтверждает важность адаптивных стратегий и позволяет лучше понять и избегать специфических недостатков в LLM-рассуждениях.
Abstract
Chain-of-Thought (CoT) prompting has significantly advanced the reasoning
capabilities of Large Language Models (LLMs), yet the reliability of these
reasoning chains remains a critical challenge. A widely held "cascading
failure" hypothesis suggests that errors are most detrimental when they occur
early in the reasoning process. This paper challenges that assumption through
systematic error-injection experiments, revealing a counter-intuitive
phenomenon we term "Late-Stage Fragility": errors introduced in the later
stages of a CoT chain are significantly more likely to corrupt the final answer
than identical errors made at the beginning. To address this specific
vulnerability, we introduce the Adaptive Self-Correction Chain-of-Thought
(ASCoT) method. ASCoT employs a modular pipeline in which an Adaptive
Verification Manager (AVM) operates first, followed by the Multi-Perspective
Self-Correction Engine (MSCE). The AVM leverages a Positional Impact Score
function I(k) that assigns different weights based on the position within the
reasoning chains, addressing the Late-Stage Fragility issue by identifying and
prioritizing high-risk, late-stage steps. Once these critical steps are
identified, the MSCE applies robust, dual-path correction specifically to the
failure parts. Extensive experiments on benchmarks such as GSM8K and MATH
demonstrate that ASCoT achieves outstanding accuracy, outperforming strong
baselines, including standard CoT. Our work underscores the importance of
diagnosing specific failure modes in LLM reasoning and advocates for a shift
from uniform verification strategies to adaptive, vulnerability-aware
correction mechanisms.
Ссылки и действия
Дополнительные ресурсы: