Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation
2508.12040v1
cs.CL, cs.AI
2025-08-19
Авторы:
Jinyi Han, Tingyun Li, Shisong Chen, Jie Shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao
Резюме на русском
## Контекст
Большие языковые модели (LLMs) доказали свою эффективность в решении различных задач, однако они снисходительны к ошибкам и часто переоценивают свою точность, присваивая высокую уверенность даже в случаях неверных предсказаний. Это ограничение снижает надежность и ответственность генерируемых текстов, особенно в критичных областях принятия решений. Актуальной проблемой является моделирование уверенности не только в завершенном результате, но и в процессе генерации. Недостаточность существующих подходов в точности и точности оценки уверенности в реальном времени приводит к необходимости разработки более тонких методов доверительных оценок.
## Метод
Мы предлагаем FineCE (Fine-Grained Confidence Estimation), метод, который стремится улучшить уверенность во время генерации текста. Метод FineCE включает в себя создание обширной выборки данных для обучения, предназначенной для предсказания доверительных оценок в процессе генерации. Мы используем супервизированную модель, которая предсказывает доверительные оценки для произвольных последовательностей текста. Для повышения точности в процессе генерации мы предлагаем стратегию Backward Confidence Integration (BCI), которая использует информацию из последующих последовательностей для улучшения оценки доверительных показателей в текущей последовательности. Мы также предлагаем три стратегии, которые помогают определить оптимальные моменты для оценки доверительных показателей во время генерации.
## Результаты
Мы проверили FineCE на нескольких бенчмарк-данными, сравнив его с классическими методами оценки доверительных показателей. Наши результаты показали, что FineCE постоянно демонстрирует более точные и тонкие оценки уверенности по сравнению с другими подходами. Наши эксперименты подтвердили, что FineCE может постоянно давать более точные и точные оценки доверительных показателей во время генерации, что улучшает надежность генерируемых текстов.
## Значимость
Метод FineCE может применяться в различных областях, таких как генерация текста для критичных задач, контроль качества текстов, исправление ошибок в генерируемом тексте, и даже в системах, требующих высокой точности и доверительных оценок. Он предоставляет более достоверные и точные оценки уверенности, которые могут помочь улучшить взаимодействие с пользователем, защитить от недостоверных результатов и повысить надежность генерируемого текста.
## Выводы
Мы представили FineCE, новый подход для точной и тонкой оценки доверительных показателей во время генерации текста LLMs. Метод FineCE предлагает более точные оценки уверенности, которые могут повысить надежность и верификацию генерируемых текстов.
Abstract
While large language models (LLMs) have demonstrated remarkable performance
across diverse tasks, they fundamentally lack self-awareness and frequently
exhibit overconfidence, assigning high confidence scores to incorrect
predictions. Accurate confidence estimation is therefore critical for enhancing
the trustworthiness and reliability of LLM-generated outputs. However, existing
approaches suffer from coarse-grained scoring mechanisms that fail to provide
fine-grained, continuous confidence estimates throughout the generation
process. To address these limitations, we introduce FineCE, a novel confidence
estimation method that delivers accurate, fine-grained confidence scores during
text generation. Specifically, we first develop a comprehensive pipeline for
constructing training data that effectively captures the underlying
probabilistic distribution of LLM responses, and then train a model to predict
confidence scores for arbitrary text sequences in a supervised manner.
Furthermore, we propose a Backward Confidence Integration (BCI) strategy that
leverages information from the subsequent text to enhance confidence estimation
for the current sequence during inference. We also introduce three strategies
for identifying optimal positions to perform confidence estimation within the
generation process. Extensive experiments on multiple benchmark datasets
demonstrate that FineCE consistently outperforms existing classical confidence
estimation methods. Our code and all baselines used in the paper are available
on GitHub.
Ссылки и действия
Дополнительные ресурсы: