📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
📄 Cross-Service Threat Intelligence in LLM Services using Privacy-Preserving Fingerprints
2025-09-10Авторы:
Waris Gill, Natalie Isak, Matthew Dressman
#### Контекст
С появлением широкоизвестных языковых моделей (LLM) в энтерпрайз-системах возникла новая критическая проблема безопасности — распространение проблемы "промусолка инъекции запросов" (prompt injection attacks). Эти атаки могут повторяться в нескольких сервисах, которые обрабатывают пользовательские запросы, но существуют жесткие нормативные ограничения на обмен информацией об атаках. Регулярные требования препятствуют обмену жалобами и данными о проблемах между сервисами, что приводит к тому, что одни сервисы могут недостаточно быстро реагировать на подозрительные активности. Многие организации не могут полноценно оценить угрозы, так как не могут получить доступ к анализу данных из других сервисов. Однако, если бы была возможность безопасного обмена угрозными моделями взаимно полезной информацией, без разглашения конфиденциальных данных, это было бы ключевым решением для повышения безопасности.
#### Метод
Мы предлагаем BinaryShield, новую систему, которая позволяет безопасно обмениваться "угрозными отпечатками" (threat fingerprints) между LLM-сервисами. Метод шифрует данные, используя технологии, которые позволяют избежать раскрытия конфиденциальных данных в ходе обмена. Базовая идея заключается в том, чтобы превратить подозрительные запросы в некоторую форму уникальных "отпечатков", которые в то же время могут быть использованы для поиска подозрительных моделей, но не выдают информации, которая может подвергнуться неправомерному использованию. Основные этапы методики включают (1) удаление личных данных (PII redaction), (2) преобразование запросов в семантические ин Eмбеддинги (semantic embedding), (3) кодирование данных в бинарный формат (binary quantization), и (4) применение механизма случайных ответов (randomized response) для гарантии конфиденциальности.
#### Результаты
Мы провели ряд экспериментов для проверки эффективности BinaryShield. Использованы данные, содержащие подозрительные запросы, которые были сравнивались с другими данными для поиска подозрительных моделей. Метод BinaryShield показал высокую точность — F1-меру достигла 0.94, что значительно выше, чем у SimHash (0.77), стандартного метода приватности. Одновременно, BinaryShield позволил сократить требуемое место на хранения данных в 64 раза и увеличить скорость поиска подозрительных моделей в 38 раз по сравнению с традиционным подходом, основанным на технологии dense embeddings.
#### Значимость
BinaryShield демонстрирует значительный потенциал в обеспечении безопасности в сфере LLM-сервисов. Он предоставляет возможность для безопасного обмена информацией об угрозах между различными сервисами, даже если они работают в разных регуляторных сферах.
Annotation:
The widespread deployment of LLMs across enterprise services has created a
critical security blind spot. Organizations operate multiple LLM services
handling billions of queries daily, yet regulatory compliance boundaries
prevent these services from sharing threat intelligence about prompt injection
attacks, the top security risk for LLMs. When an attack is detected in one
service, the same threat may persist undetected in others for months, as
privacy regulations prohibit sharing user prompts a...
Авторы:
Shaswata Mitra, Azim Bazarov, Martin Duclos, Sudip Mittal, Aritran Piplai, Md Rayhanur Rahman, Edward Zieglar, Shahram Rahimi
## Контекст
Современная сетевая безопасность опирается на широкий спектр инструментов, в том числе интрузионные детекторы систем (IDS), которые используют предопределенные правила для обнаружения аномального поведения в сети. Эти правила, образующие основу IDS, получаются из Cyber Threat Intelligence (CTI), который включает в себя сигнатуры атак и биографии биографий. Однако многообразие и многоплановость новых угроз требуют непрерывного обновления правил IDS, что может привести к задержкам в развертывании и снижению оборонительных возможностей системы. Особенно высокая динамика в сфере цифровой грубости вынуждает использовать продвинутые методы для упрощения и ускорения процесса генерации правил. Лучшие технологии в области AI, такие как большие языковые модели (LLMs), могут предложить переломный эффект, превратив процесс генерации правил IDS в более автоматизированный и быстрый.
## Метод
Для решения вопроса об оптимизации генерации правил в IDS был разработан фреймворк FALCON, который основывается на агентных системах и использует технологии LLMs для автоматической генерации правил IDS. Методология FALCTON состоит из нескольких этапов:
1. **Сбор и обработка CTI-данных**: Фреймворк собирает данные из различных источников CTI, включая видеозаписи, потоки данных и другие источники.
2. **Генерация правил IDS**: Основной функцией FALCON является автоматическое создание правил IDS, которые могут быть применены в различных средах, таких как Snort и YARA.
3. **Встроенная проверка**: Фреймворк имеет встроенные механизмы для встроенного тестирования, которые обеспечивают высокую точность и устраняют риск поддельных сигналов.
4. **Интеграция с IDS**: Генерируемые правила могут быть непосредственно интегрированы с IDS-системами, что обеспечивает реальноземную защиту.
В качестве тестового датасета было создано специальное сообщество с подробными правилами IDS и CTI-данными.
## Результаты
Использовавшийся датасет включал более 10 000 правил IDS и соответствующие данные CTI. Экспериментальные исследования показали, что FALCON имеет высокую точность в генерации правил, средний результат составил 95%. Кроме того, проведенные квалитиативные оценки показали, что 84% специалистов по безопасности согласились на правильность полученных правил в различных сценариях. Эти результаты свидетельствуют о высокой эффективности и надежности FALCON в автоматической генерации правил IDS.
## Значимость
FALCON может быть применен в различных сферах, в том числе в сетевой безопасности, где реально-времявая защита сетей критически важна. О
Annotation:
Signature-based Intrusion Detection Systems (IDS) detect malicious activities
by matching network or host activity against predefined rules. These rules are
derived from extensive Cyber Threat Intelligence (CTI), which includes attack
signatures and behavioral patterns obtained through automated tools and manual
threat analysis, such as sandboxing. The CTI is then transformed into
actionable rules for the IDS engine, enabling real-time detection and
prevention. However, the constant evolution of...
Показано 11 -
12
из 12 записей