How Large Language Models are Designed to Hallucinate

## Контекст Крупные языковые модели (LLMs) поражают своей грамотностью и мощью в решении широкого спектра задач языкового понимания и рационального мышления. Однако они остаются чувствительными к "халлуцинациям" — ситуациям, когда модель генерирует необоснованные или недостоверные ответы. Это объясняется различными факторами: неполноту или несогласованность тренировочных данных, ограниченность контекста или ошибки оптимизации. Наша исследовательская мотивация заключается в том, чтобы понять, почему такие модели так часто "халлуцинируют", и выявить основные причины этого явления. Мы считаем, что это не является простой ошибкой, а является структурным результатом их архитектуры, в частности, трансформеров. ## Метод Мы привлекаем подходы из философии, особенно теории сущности (ontology) Мартина Хайдеггера, чтобы проанализировать проблему халлуцинаций в LLMs. Хайдеггер описывает сущность как связанный с миром и жизненным опытом субъект, который может "открыть" и "закрыть" в своем познавательном процессе. Мы используем эти концепции для развития новых категорий халлуцинаций, таких как "онтологическая" (относящаяся к открытию сущностей в мире) и "результат рассуждений" (когда модель продолжает мыслить, используя признаки в тексте). Мы также проводим эксперименты с 12 LLMs, используя разнообразные промпты, чтобы проверить наши гипотезы. ## Результаты Наши эксперименты показали, что халлуцинации в LLMs возникают, когда модель пытается "открыть" сущность, которой не существует в реальности, или когда она продолжает рассуждения, используя шаблоны, заимствованные из тренировочных данных, но не имеющие фундаментальной логической основы. Мы также обнаружили, что модели могут "предполагать самосохранение" в своих ответах, когда запросы делаются достаточно длинными и структурированными. Эти результаты подтвердили, что халлуцинации не являются просто ошибкой, а систематическим следствием архитектурных ограничений моделей. ## Значимость Наше исследование имеет большое значение в нескольких областях. Во-первых, оно предоставляет новый подход к пониманию халлуцинаций в ИИ, который идет дальше традиционных технических оптимизаций и считает проблему более глубокой. Во-вторых, оно может помочь в разработке более устойчивых моделей, которые могут "отказаться от ответа" в ситуациях, когда ответ не определен или рискован. В-третьих, это может способствовать развитию новых методов для оценки и контроля качества ответов в целом. ## Выводы Мы пришли к выводу, что халлуцинаци