Estimating Semantic Alphabet Size for LLM Uncertainty Quantification

## Контекст Многочисленные методы для оценки неуверенности в больших языковых моделях (LLM) основываются на многократном генерировании текстов моделью, что может требовать бОльших вычислительных ресурсов. Это ставит перед разработчиками задачу оптимизации процесса с учетом ресурсоемкости технических решений. Одной из популярных метрик для оценки неуверенности является энтропия семантики (SE), которая использует текстовые данные в виде массивов. Несмотря на простоту ее алгоритмической реализации, эта метрика часто недооценивает "истинную" неуверенность. Также существуют расширения SE, которые улучшают подсчет неуверенности, но накладывают дополнительные требования по настройке и включают дополнительные параметры. Целью данной работы является возвращение к традиционному подходу, с учетом улучшений, и продвижение его в области повышения точности оценки неуверенности больших языковых моделей. ## Метод Мы решили вернуться к основному подходу в оценке семантической энтропии (SE), основываясь на традиционном алгоритме, но исправив неточности в его реализации. Метод состоит в том, чтобы поправить расчет семантической энтропии, учитывая количество для обработки доступных текстовых данных. Также мы развивали подход, который используется для определения "порога" неточности в ответах модели. Этот подход позволяет корректно определять неточности в выдаче модели, оценивая их относительно логических правил. Наш подход включает не только улучшение семантической энтропии, но и поддержание её легкости и читаемости. ## Результаты Мы провели серию экспериментов с различными текстовыми данными и моделями языковых моделей. Мы сравнивали наши результаты с имеющимися методами оценки неуверенности. Таким образом, мы показали, что наш подход позволяет более точно оценивать неуверенность, особенно при небольших выборках. Мы также проверили, насколько наш подход может правильно определять неточности в выдаче моделей, и сравнили его с другими подходами, находя выигрыш в точности и интерпретируемости. ## Значимость Наш подход имеет широкие применения в области оценки неуверенности в текстовых моделях и помогает улучшить их работу в ситуациях с ограниченными выборками. Он позволяет более точно оценивать неуверенность в ответах моделей, что может привести к бОльшей надежности и качеству результатов. Это также может привести к повышению удобства использования моделей в реальных приложениях. Мы также отметили, что наша модель легко интегрируется в существующие системы и не требует дополнительных ресурсов. ## Выводы Мы доказали, что наш подход к оц