From Confidence to Collapse in LLM Factual Robustness

## Контекст Область исследования связана с улучшением фактической надежности Large Language Models (LLMs). Несмотря на то, что LLMs проявляют великолепные результаты в задачах, таких как вопрос-ответ, они часто сталкиваются с проблемами фактической надежности. Это проявляется в неверных или неполных ответах при внесении изменений в входные данные или условия вывода. Такие проблемы могут привести к неудовлетворительному поведению в реальных сценариях, таких как создание ответов, конфликтующих с фактическими данными, или выдача неверных результатов. Данная статья определяет интерес к изучению фактической надежности LLMs для повышения надежности в задачах, таких как вопрос-ответ, и разработке эффективных методов для оценки и улучшения этого аспекта. ## Метод Разработанная методология основывается на измерении того, насколько фактическая надежность LLMs устойчива к затруднениям в процессе вывода. Для этого вводится новый метрический показатель Factual Robustness Score (FRS), основанный на измерении двух факторов: ентропии токенов и чувствительность к температуре вывода. Энтропия токенов измеряет степень неопределенности в токенах, которые LLMs выбирают в процессе вывода, в то время как чувствительность к температуре измеряет изменение вероятностей токенов при изменении температуры в процессе вывода. Эти два фактора объединяются в составляющие нового FRS. Для проведения экспериментов было использовано 5 моделей с различным количеством параметров и 3 датасетами closed-book QA, чтобы проверить надежность моделей в условиях различных степеней неопределенности. ## Результаты Результаты экспериментов показали, что значения FRS для LLMs варьируются в зависимости от размера модели и уровня неопределенности в выводе. Например, наименьшие модели имели FRS около 0.76, в то время как более крупные модели — 0.93. Эксперименты также показали, что фактическая надежность моделей снижается при увеличении неуверенности в выводе; в среднем наблюдалось падение точности ответа на 60%. Эти результаты подтверждают, что ентропия токенов и чувствительность к температуре вывода влияют на фактическую надежность LLMs и могут быть использованы для оценки и улучшения этих моделей. ## Значимость Найденные результаты имеют значительное значение для развития технологий обработки текста и знаний. Разработанный FRS может быть применен для оценки надежности LLMs в задачах, таких как вопрос-ответ и решение задач на основе знаний. Это также позволяет выявить узкие места в моделях, которые могут привести к неверным ответам. Эти результаты могут способствовать развитию более надежных моделей, способных лучше удерживать и выдавать фактическую инфор