A Few Words Can Distort Graphs: Knowledge Poisoning Attacks on Graph-based Retrieval-Augmented Generation of Large Language Models

## КОНТЕКСТ И ПРОБЛЕМАТИКА Graph-based Retrieval-Augmented Generation (GraphRAG) представляет собой передовой подход к улучшению функциональности крупных языковых моделей (Large Language Models, LLMs), который заключается в преобразовании неструктурированного текста в структурированные знанительные графы. Этот подход позволяет значительно повысить точность и интерпретируемость результатов, особенно в задачах, требующих глубокого понимания и вывода. Однако, несмотря на его преимущества, GraphRAG зависит от точности и целостности процесса извлечения знаний, который осуществляется с помощью LLMs. Этот этап уязвим к воздействию вредоносных акторов, которые могут искажать генерируемые графы, внедряя в них поддельную информацию. Существующие исследования показывают, что атаки на знанительные системы часто фокусируются на непосредственном изменении данных или моделей. Однако, в случае GraphRAG, даже небольшие изменения в исходном тексте могут привести к существенным искажениям в построенном графе, что может оказать значительное влияние на результаты вывода. Эта уязвимость вызывает серьёзные проблемы в отношении безопасности и надежности GraphRAG-систем, особенно в приложениях, где точность вывода имеет критическую важность. Мотивацией данного исследования является идентификация и исследование возможных векторов атак на GraphRAG, особенно таких, которые могут быть выполнены с минимальными изменениями в исходном тексте. Авторы предлагают два типа знанительных отравлений (Knowledge Poisoning Attacks, KPAs), которые демонстрируют, как небольшие, но целенаправленные изменения в тексте могут серьёзно повлиять на качество и точность вывода GraphRAG-систем. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают два типа знанительных отравлений: Targeted KPA (TKPA) и Universal KPA (UKPA). **Targeted KPA (TKPA)** основывается на графотеоретическом анализе для идентификации уязвимых узлов в графе. Эти узлы соответствуют ключевым частям текста, которые могут быть изменены для достижения конкретных целей, таких как искажение ответов на конкретные вопросы. Атака использует LLMs для редактирования этих узлов таким образом, чтобы изменения были незаметны для человека, но при этом имели значительное влияние на вывод системы. TKPA достигает высокой степени управляемости, с успешной манипуляцией ответами на вопросы в 93,1% случаев, при этом сохраняя естественность и флуэнтность текста. **Universal KPA (UKPA)**, напротив, нацелен на глобальные изменения в графе, используя лингвистические особенности, такие как местоимения и зависимости в структуре текста. UKPA изменяет ключевые слова, которые влияют на целостность графа, приводя к серьёзным искажениям в выводе. Эта атака требует изменения менее 0,05% от общего объёма текста, но при этом приводит к снижению точности ответов с 95% до 50%. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели широкий спектр экспериментов для оценки эффективности предложенных атак. Использовались различные наборы данных, включая тексты различной сложности и объёма. Результаты показали, что TKPA может точно контролировать вывод GraphRAG в отношении конкретных вопросов, с высокой степенью успешности. UKPA, с другой стороны, демонстрирует более широкое воздействие, серьёзно понижая общую точность системы. Кроме того, эксперименты показали, что современные методы защиты от атак не способны эффективно обнаруживать или предотвращать KPAs, что подчеркивает необходимость разработки новых подходов к безопасности GraphRAG-систем. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Результаты данного исследования имеют значительное практическое значение для областей, где GraphRAG используется для критически важных приложений, таких как медицинский диагноз, юридический анализ и финансовые прогнозы. Уязвимость GraphRAG к знанительным отравлениям подчеркивает необходимость в разработке более надёжных методов защиты и валидации генерируемых графов. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Данное исследование демонстрирует, что даже небольшие изменения в исходном тексте могут иметь серьёзное влияние на функциональность GraphRAG-систем. Это вызывает острую необходимость в разработке новых методов защиты и детектирования атак. Будущие исследования могут фокусироваться на разработке более продвинутых методов для обнаружения и предотвращения знанительных отравлений, а также на создании более устойчивых архитектур GraphRAG.