Название: You Can't Steal Nothing: Mitigating Prompt Leakages in LLMs via System Vectors ## Контекст Large language models (LLMs) признаны стандартом в области искусственного интеллекта для выполнения различных задач. Однако, по мере расширения их применения, появляются новые проблемы, в том числе риск вытекания системных запросов (prompt leakage). Такой вид утечек нарушает безопасность и может привести к утечке конфиденциальных данных. Защита от таких проблем становится все более важной для развития моделей LLM на безопасных и эффективных технологиях. ## Метод Авторы предлагают SysVec — метод, который представляет системные запросы не как текст, а в виде внутренних векторных представлений. Это позволяет скрыть запросы от внешних атак и сохранить все функциональные возможности модели. Во время обучения и использования модели вводится специальная модификация системного запроса, которая не только защищает данные, но также улучшает общее поведение модели. ## Результаты Проведенные эксперименты показывают, что SysVec эффективно минимизирует риск утечки системных запросов. Модель демонстрирует улучшенную устойчивость к различным атакам, в том числе тем, которые ранее были успешны против других LLM-моделей. Эксперименты проводились на моделях GPT-4o и Claude 3.5 Sonnet, и результаты показали, что SysVec не только защищает данные, но и повышает качество выполнения задач, в том числе в сценариях с длинными контекстами. ## Значимость Систематические риски утечки системных запросов нарушают безопасность и могут привести к нежелательным последствиям. SysVec предлагает новый подход к решению этой проблемы, обеспечивая безопасность и сохранение функциональности моделей. Это может быть применено в различных областях, где требуется безопасный интеллектуальный анализ данных, таких как медицина, финансы и юридические системы. Будущие исследования будут направлены на усовершенствование метода и его использование в современных системах LLM. ## Выводы Основным достижением является представление системных запросов в виде внутренних векторных представлений, что позволяет защитить данные и повысить эффективность моделей. Будущие исследования будут уделять внимание улучшению этих технологий для их применения в безопасных системах с большим объемом данных.

## Контекст Phishing — это подмена авторитетного источника со склонностью к мошенничеству, направленная на извлечение чувствительных данных от пользователей. Несмотря на развитие технологий, phishing-атаки остаются одной из самых активных угроз в интернет-безопасности. Они направлены как на физические, так и на юридические лица. Данное исследование фокусируется на разработке эффективных методов по детектированию phishing-атак. Основная проблема заключается в том, что существующие методы часто недостаточно точны и не обладают транспарентностью, что снижает их надежность. Это компрометирует их применение в реальных ситуациях. Мотивация заключается в разработке моделей, которые обеспечат высокую точность, гибкость и понятность решений. ## Метод Для детектирования phishing-атак используются модели, оперирующие на уровне символов (character-level). Три модели, использованные в исследовании, включают: CharCNN (Convolutional Neural Network), CharGRU (Gated Recurrent Unit) и CharBiLSTM (Bidirectional Long Short-Term Memory). Модели адаптированы для анализа текста на уровне символов. Использованная для обучения и тестирования датасет состоит из электронных писем, собранных из различных источников. Эталонные модели сравниваются в трех сценариях: (i) стандартном обучении и тестировании, (ii) обучении стандартными данными и тестировании с адверсарными атаками и (iii) обучении с адверсарными примерами и тестировании. Для оценки вычислительной эффективности используется строгая ограниченная модель, которая может быть реализована в виде браузерного расширения. ## Результаты Для стандартного сценария все модели показали высокую точность, но CharGRU (Char-GRU) проявил себя как самая удачная модель в последних двух сценариях. Все модели оказались восприимчивы к адверсарным атакам, но повышение результатов при добавлении адверсарного обучения позволило значительно улучшить их устойчивость. Для улучшения понимания решений моделей, внедрена техника Gradient-weighted Class Activation Mapping (Grad-CAM), позволяющая визуализировать вклад каждого символа в вывод модели. Эта возможность дает пользователям большее уверенность в работе моделей. ## Значимость Результаты имеют большое значение для различных областей, включая безопасность интернета, технологии мониторинга и автоматического анализа электронной почты. Детальный подробный анализ позволяет понять, какие аспекты каждого письма влияют на вывод моделей. Этот подход может быть применен в браузерных расширениях, предотвращающих phishing-атаки, и дает возможность лучшего понимания стратегий атак. Этот подход повышает потенциал для создания более надежной системы безопасности для пользователей