Library Hallucinations in LLMs: Risk Analysis Grounded in Developer Queries

#### Контекст Large language models (LLMs) широко применяются для генерирования кода, однако их поведение часто становится проблематичным из-за "халлуцинаций" (hallucinations). Это происходит, когда модель генерирует код, в котором упоминаются несуществующие библиотеки. Такие ошибки превращаются в опасные угрозы, так как могут привести к ошибкам в сборке, неверном понимании задачи, а также к повышенному риску со стороны интернета вещей (supply chain threats, такие как сложные атаки типа слоп-скваттинга). Хотя эти риски уже привлекли внимание, мало известно о том, как различные стили пользовательских запросов влияют на частоту халлуцинаций в коде. Наша работа является первой систематической исследовательской работой, которая исследует, как различные вариации пользовательских запросов влияют на частоту халлуцинаций в LLMs, особенно в сфере библиотек. #### Метод Мы провели исследование, используя шесть разных моделей текстов, сравнивая два типа халлуцинаций: неправильные импорты (library name hallucinations) и некорректные вызовы (library member hallucinations). Мы использовали данные, собранные из реальных форумов для разработчиков, в том числе различные виды ошибок в запросах: ошибки одного или нескольких символов, а также совершенно несуществующие библиотеки или их члены. Наши эксперименты направлены на изучение того, насколько эти ошибки влияют на частоту халлуцинаций в LLMs, а также определять, насколько модели чувствительны к видам ошибок и природе запросов. #### Результаты Мы обнаружили, что частота халлуцинаций сильно зависит от того, как запросы сформулированы пользователем. Даже одна ошибка в одном символе может привести к халлуцинациям в 26% случаев, а совершенно несуществующие библиотеки были приняты в 99% случаев. Также обнаружено, что запросы, связанные с временем и другими контекстами, приводят к халлуцинациям в 84% случаев. Таким образом, мы показали, что LLMs чувствительны к различным видам ошибок в запросах, что является системным недостатком. Однако мы также выявили, что при помощи оптимизации запросов (промпто-инжиниринга) можно существенно снизить частоту халлуцинаций. Тем не менее, эффективность таких методов зависит от конкретной модели. #### Значимость Наши результаты имеют важное значение для развития инфраструктуры и безопасности систем, основанных на LLMs. Мы выявили, что такие модели очень чувствительны к пользовательским запросам, что может привести к значительным проблемам в реальных системах. Мы также показали, что наличие реалистичных запросов, создаваемых разработчиками, может привести к значительным рискам. Например, в сфере инт