GENUINE: Graph Enhanced Multi-level Uncertainty Estimation for Large Language Models

## Контекст Область исследования, сосредоточенная на необходимости точной оценки неопределенности в работе больших языковых моделей (LLMs), особенно в высокорисковых сферах применения, таких как медицина, финансы и юриспруденция. Существующие методы недостаточно учитывают семантические зависимости, а детальные данные по формированию текста часто остаются невзятыми в расчетах. Это приводит к неточности оценки достоверности, чтобы сделать результаты LLM более надежными. GENUINE предлагает структурно-наблюдательную модель для улучшения оценки неопределенности, используя синтаксические зависимости и относительную группировку в графах. Это может дать новый уровень точности и потенциально внести вклад в понимание высококачественных выводов. ## Метод GENUINE (Graph ENhanced mUlti-level uncertaINty Estimation) представляет собой подход, основанный на графах и глубинно настраиваемый. Он использует деревья синтаксических зависимостей для построения графа текста, где узлы представляют слова, а связи — синтаксические зависимости. Эта структура позволяет построить графическую модель, которая активно учитывает не только токенами, но и семантическими отношениями между ними. Метод также включает в себя упрощенный графический пуллинг, чтобы сократить размерность входных данных. Его цель — повысить точность оценки неопределенности, учитывая зависимости в генерируемом тексте. ## Результаты Чтобы проверить эффективность GENUINE, проведены ряд экспериментов на различных задачах естественного языкового процессинга. Модель была сравнена с существующими методами оценки неопределенности, такими как semantic entropy. Наборы данных включили обученные модели, такие как BERT и GPT. Главные результаты показали, что GENUINE демонстрирует до 29% более высокого AUROC (Area Under the Receiver Operating Characteristic Curve) и сокращает ошибки калибровки на 15% в сравнении с текущими лучшими решениями. Эти результаты подтверждают, что GENUINE повышает точность и надежность оценок неопределенности в тексте. ## Значимость GENUINE может быть использована в различных критически важных приложениях, таких как диагностическая помощь, финансовый анализ и проверка документов. Избавление от ошибок калибровки и повышение точности оценки неопределенности может сделать решения, принимаемые на основе LLM, более надежными. Помимо этого, GENUINE может помочь в адаптации моделей для специализированных областей, где необходимо учитывать сложные структуры и семантические зависимости. Эти достижения демонстрируют перспективу графовых моделей для улучшения безопасности и надежности моделей языка. ## Выводы GENUINE представляет собой прорыв в области оценки неопре