ConfTuner: Training Large Language Models to Express Their Confidence Verbally

#### Контекст Large Language Models (LLMs) находят широкое применение в высокорисковых областях, таких как наука, закон и медицина, где точное выражение неопределенности крайне важно для доверия и надежности решений. Однако LLMs часто ошибаются с высокой уверенностью в своих ответах — этот эффект называется "overconfidence". Несмотря на то, что ранее были предложены методы для калибровки выраженной уверенности LLMs, они имеют ограниченную эффективность и гибкость. Мы предлагаем ConfTuner — метод, который использует простой штрафный функционал на основе Brier score и не требует дополнительных данных для обучения. #### Метод ConfTuner основан на представлении токенов в LLM-моделях. Мы предлагаем новый штрафный функционал, расширенный Brier score, который мы доказываем быть "точным" scoring rule — функционалом, который корректно выгодствует модели за корректное выражение достоверности. Обучение происходит в рамках предложенной архитектуры, не требуя дополнительных данных для калибровки. Метод применяется к различным типам рассуждений и продемонстрирован на различных моделях, включая GPT-4o. #### Результаты Мы проводим эксперименты с различными данными и задачами, включая задачи рассуждения и упражнения на самокоррекции. Улучшенная калибровка ConfTuner позволяет моделям надёжнее оценивать свою достоверность и применяться в модельных цепочках. Мы также показываем, что ConfTuner значительно улучшает калибровку LLMs на различных тестовых наборах, включая топ-LLM-модели. #### Значимость ConfTuner может быть применен в любых сценариях, где нужно доверять выраженной достоверности LLM-ответов. Он отличается широкой областью применения — от моделей самокоррекции до модельных систем для решения задач. Наши результаты показывают, что ConfTuner позволяет LLM-моделям более точно выражать свою достоверность и делать более надежные решения. #### Выводы ConfTuner доказывает, что новый подход к калибровке достоверности LLMs может быть эффективным применением для обеспечения надежности и улучшения решений. Мы планируем расширить исследования на многомодельные системы и исследовать дальнейшие способы улучшения калибровки LLMs.