From Confidence to Collapse in LLM Factual Robustness

## Контекст Обеспечение фактической надёжности языковых моделей (LLM) является ключевым заданием для устойчивого применения этих моделей в задачах, таких как вопрос ответа и логическое выводить. Несмотря на то, что существуют многочисленные методы экспериментального подтверждения, большинство из них ориентированы на проверку устойчивости моделей по метрикам производительности. Эти методы, основывающиеся на простых пробуждениях текста (prompt perturbations), не полностью отражают внутреннюю структуру и неустойчивость моделей. Задача этого исследования — разработать более тонкий механизм для измерения фактической надёжности, который будет учитывать внутреннюю сложность моделей, а не только отклик на традиционные изменения подачи входных данных. ## Метод В этом работе представляется подход, основанный на измерении степени неопределённости (uncertainty) в токенах и учёте того, как зависит это значение от температуры (temperature scaling) в процессе декодирования. Мы представляем "Factual Robustness Score" (FRS), которая является совокупностью этих двух факторов. Модельная архитектура опирается на точные измерения токенов, которые определяются в процессе декодирования, и температуры модели, которая влияет на степень сильности отклика модели на различные условия. Эти два меры объединяются для построения более широкого понимания фактической надёжности модели. ## Результаты Мы проводили эксперименты на 5 моделях языковых моделей (LLMs), включая модели различных размеров, в трёх задачах классического вопроса-ответа (SQuAD, TriviaQA, HotpotQA). Определили, что модели разных размеров показывают различный уровень надёжности в фактических данных — FRS для меньших моделей составил 0.76, для более крупных — 0.93. Был также выявлен, что при увеличении неопределённости (uncertainty) в процессе декодирования модели становятся менее надёжными в фактических данных, и их точность может снижаться на ~60% в сильных условиях неопределённости. Эти результаты демонстрируют, насколько важен "Factual Robustness Score" как новый метод для измерения надёжности моделей в задачах, в которых требуется устойчивость к неопределённости. ## Значимость Наши результаты могут быть применены в области развития новых моделей языкового моделирования, которые будут более устойчивыми к неопределённости в данных. Мы также можем использовать этот подход для развития более устойчивых методов вопрос-ответа и логического вывода, что повысит надежность моделей в реальных задачах. Помимо этого, наши результаты позволяют разрабатывать модели, которые могут более точно отражать логическую неопределённость, что может быть полезно в задачах, где стоит высокая стоимость ошибок. ## Выво