Don't Think Twice! Over-Reasoning Impairs Confidence Calibration

## Контекст Одна из ключевых проблем в области знаний-интенсивных задач, таких как ответы на вопросы, является обеспечение точной калибровки уверенности. Несмотря на то, что текущие тест-тайм скалируемые модели языка (LLMs) показывают высокую точность в тестировании, они часто превращаются в значительное переоценивание своей уверенности. Это негативно сказывается на качестве решений, особенно в области клинического мониторинга и управления здоровьем планеты. Существуют многочисленные попытки улучшить калибровку уверенности, но они часто ограничиваются только тест-тайм скалированием. Наша мотивация заключается в изучении, насколько вкладываемость и логическая работа моделей влияют на калибровку уверенности, а также в поиске новых подходов, которые могут позволить значительно улучшить показатели калибровки. ## Метод Мы использовали данные ClimateX (Lacombe et al., 2023) для оценки калибровки уверенности, расширив датасет на области здоровья людей и планеты. Мы провели эксперименты с моделями Reasoning LLMs, предлагая ими различные уровни бюджета рассуждений. Для сравнения, мы также оценили подходы, основанные на поиске игенгенерации. Методология включала в себя сравнение точности калибровки уверенности в зависимости от различных моделей и интенсивности рассуждений. Мы также исследовали влияние внедрения дополнительных ресурсов, таких как семантический поиск и контекстное восстановление. ## Результаты Наши эксперименты показали, что 48.7% процентов точности калибровки уверенности моделей Reasoning LLMs в нашей исследовательской среде. Однако, увеличение бюджета для рассуждений приводит к значительному ухудшению калибровки уверенности, а не к его улучшению. Модели, основанные на поиске и игенгенерации, показали более высокую точность, достигнув 89.3%, примерно. Этот результат подтверждает, что доступ к информации, а не глубина рассуждений или бюджет рассуждений, является критичным фактором для улучшения калибровки уверенности в знаний-интенсивных задачах. Мы также отметили, что повышение бюджета рассуждений приводит к систематическому преувеличению уверенности, которое только ухудшается при длительных бюджетах. ## Значимость Наши результаты имеют значительное значение для области калибровки уверенности в LLMs. Они показывают, что доступ к информации и семантический поиск могут значительно улучшить калибровку уверенности, даже при меньшем бюджете рассуждений. Эти подходы могут быть применены в различных областях, включая клинический мониторинг и управление здоровьем планеты, где точность и уверенность решений к