Defend LLMs Through Self-Consciousness

Огромное повышение популярности Large Language Models (LLMs) подвергло их неожиданному риску — подконтрольным атакам, таким как prompt injection. Эти атаки могут привести к непредсказуемым и, в некоторых случаях, вредоносным поведениям моделей. В настоящей работе предлагается новый подход к защите LLMs, основанный на их собственной самосознательности. Метод включает в себя два модуля: Meta-Cognitive и Arbitration. Эти модули позволяют модели оценивать и контролировать свои выводы, не требуя дополнительных внешних систем классификации. На основе двух высококачественных датасетов — AdvBench и Prompt-Injection-Mixed-Techniques-2024 — были проведены эксперименты с семьями LLMs. Результаты показали, что защитный механизм действителен, включая случаи полной или почти полной защиты в режиме Enhanced. Однако появилась компромиссная ситуация между увеличением успешности защиты и требованиями к вычислительным ресурсам. Это решение предлагает эффективную и стоимостно подходящую модель для усиления этичных защит LLMs, особенно в GenAI-средах.