Hallucination as a Computational Boundary: A Hierarchy of Inevitability and the Oracle Escape

## Контекст Ложная информация, или "хэллуцинация", является основной проблемой в развитии бо LARGE LANGUAGE MODELS (LLMs). Это неопределенность в их прогностических выводах приводит к недоверию к их применению в реальной жизни. Несмотря на выдающиеся результаты в области генеративной лингвистики и глубокого обучения, нет ясного понимания того, почему ложная информация возникает и как её можно эффективно устранить. Бурно развивающиеся машинное обучение и искусственное интеллект поставляют новые возможности, но также и новые вызовы. Целью настоящего исследования является формализация проблемы ложной информации, изучение её основных причин и предложение решений. ## Метод Мы прибегаем к методологии формализации ложной информации как проблемы бутстраппинга информации с использованием теории информации и теории игр. Рассматривается модель ложной информации в LLMs через теорию вероятностей и необходимости Тьюринга в силу необходимости знаний в алгоритмах обучения. Мы используем "ложную информацию" как целевую функцию в игровой теории, чтобы определить условия, при которых модель может вернуть ложные выводы. Также мы проводим эксперименты на множестве данных, включающих тексты на разных языках и специальные случаи, чтобы проверить эффективность теоретических моделей. ## Результаты В результате исследования мы показали, что ложная информация возникает только в условиях определенного количества неопределенности в исходных данных. Мы провели эксперименты, показав, что если ложная информация возникает, она может быть обнаружена и устранена с помощью специальных методов, таких как модели Retrieval-Augmented Generations (RAGs). Мы также показали, что модели RAGs могут быть интерпретированы как "оракл-машины", которые могут предотвратить возникновение ложной информации, получая экстерных знаний. Использование теории игр позволяет формализовать поведение моделей и их взаимодействие с окружающей средой, что дает новый способ управления ложной информацией. ## Значимость Наша работа имеет важное значение для обеспечения надежности и эффективности применения LLMs в реальной жизни. Она может быть применена в таких областях, как анализ текстов, генерация текста, медицинское применение, юридические исследования и другие, где ложная информация может привести к серьёзным последствиям. Также, мы установили, что модели RAGs могут быть использованы для устранения ложной информации и увеличения надежности систем. Наша работа также открывает новые пути к достижению устойчивости в LLMs, продвигая фо