## Контекст Отметьте, что в последние годы быстро развивается использование бо LLM (large language models) в различных сферах, например, в поисковых системах, виртуальных помощниках и даже в юридических системах. Одна из главных проблем при использовании таких моделей является возможность их незаконного использования. Чтобы более эффективно контролировать такое использование, было предложено применение водяных знаков (watermarking) — статистических признаков, которые внедряются в текст, генерируемый моделью. Это позволяет авторитетным лицам проверить, был ли текст сгенерирован определенной моделью. Однако есть необходимость в понимании того, насколько эти водяные знаки эффективны и надёжны, особенно в условиях атак, когда атакующий пытается их подделать или убрать. Таким образом, необходимо понять, насколько жесткой ли водяная метка в ней сигнала, чтобы можно было развивать лучшие методы защиты. ## Метод Методом для развития моделей водяных знаков была предложена Bias-Inversion Rewriting Attack (BIRA), которая является теоретически обоснованным и модель-агностичным подходом. BIRA использует метод повторного преобразования (rewriting) текста, при котором атакующий пытается уменьшить вероятность того, что генерируемый текст может быть загражден водяными знаками, путем изменения сигналов в начальных словах логита. Этот подход оптимизируется таким образом, чтобы изменения были незаметными для человека, но одновременно снижали значимость водяных знаков. Этот метод не требует знания того, как именно водяные знаки внедряются в модели, что делает его модель-агностичным. ## Результаты Результаты экспериментов показали, что BIRA позволяет снизить значимость водяных знаков до ничтожного уровня в 99% случаев, не изменяя семантическое содержание исходного текста. Это доказывает, что подход BIRA действительно эффективен и может быть использован для оценки силы водяных знаков. Опытным путем было показано, что даже если водяные знаки были хорошо заграждены в текст, BIRA может убрать их или сильно снизить их влияние. Это открывает возможность для более внимательного исследования возможности атак на водяные знаки и необходимости в развитии новых методов защиты. ## Значимость Полученные результаты имеют значимость в различных областях. Во-первых, BIRA может быть использована для тестирования силы водяных знаков в различных моделях и ситуациях. Во-вторых, результаты могут помочь разрабатывать лучшие методы защиты водяных знаков, чтобы улучшить их эффективность и надежность. В-третьих, появление этой атаки показывает, насколько важно проводи

#### Контекст На данный момент искусственные нейронные сети (ANN) широко используются в различных областях, например в ИИ, для выполнения различных задач. Однако типичные ANN подвержены квантовым атакам, что делает их небезопасными. Из-за этого возникла потребность в разработке безопасных и надежных моделей, которые могли бы справиться с такими атаками. В этом контексте возникла мотивация для разработки методов, которые могут обеспечить надежную защиту ANN от таких угроз. Например, есть необходимость в моделях, которые могли бы обнаруживать и отвечать на квантовые атаки в реальном времени, обеспечивая ровно такой же уровень функциональности, что и обычные ANN. #### Метод Чтобы достичь этой цели, была разработана модель, которая использует алгоритмы, основанные на теории графов, для определения взаимосвязей между различными данными. Метод включает в себя следующие шаги: вначале проводится анализ информации, затем происходит моделирование структуры данных, после чего создается граф, где узлы представляют собой данные, а ребра — взаимосвязи. Благодаря этому, модель может определить взаимосвязи, которые могут свидетельствовать об атаках. Затем, с помощью алгоритмов, основанных на машинном обучении, модель определяет, является ли данная атака квантовой. Таким образом, модель не только может обнаружить атаки, но и принимать решения по ответу на эти атаки, чтобы обеспечить безопасность. #### Результаты Чтобы проверить эффективность модели, проводились многочисленные эксперименты на различных наборах данных, включая те, которые использовались в атаках на квантовый тип. Были получены результаты, показывающие, что модель обнаруживает квантовые атаки с высокой точностью и быстростью. Благодаря графовой модели, модель также справляется с большим количеством данных, обеспечивая высокую производительность. Эти результаты подтверждают, что модель эффективна в обнаружении квантовых атак и может использоваться для защиты ANN от подобных угроз. #### Значимость Модель ReliabilityRAG (Reliable RAG) представляет собой значительный шаг в области защиты RAG-систем по отношению к атакам, направленным на подделку ответов при помощи злоумышленников. Она расширяет применение технологий графов для обнаружения контра dictions в ответах, позволяя адаптироваться к различным сценариям атак. Особенно заметно это в случае веб-поисковых систем, где злоумышленник может исказить результаты поиска, внедряя злонамеренные запросы или изменяя рейтинг документов. Такой подход не только обеспечивает безопасность, но и повышает надежность поиска, особенно в области роботов-операторов. Благодаря

## Контекст В последние годы хакерские атаки становятся всё более масштабными и сложными, вынуждая системы безопасности применять современные средства для профилактики и противодействия угрозам. Одним из ключевых вопросов является эффективность инструментов, позволяющих оперативно выявлять и устранять угрозы. Большинство нынешних систем сильно зависят от человеческого фактора или требуют ручного вмешательства, что замедляет процессы реагирования. Это влечёт за собой потери времени и ресурсов, что на самом деле может оказаться критично в условиях атаки. Проблема в том, что злоумышленники постоянно развивают новые методы атаки, при этом существующие системы зачастую не могут профилактически динамически адаптироваться к этим изменениям. Таким образом, требуется развитие методов, позволяющих автоматизировать и оптимизировать процессы поиска и устранения угроз. Ло LLM-Assisted Blue Teaming, либо поддержка киберсурождения через ларге лангуадж моделей (LLM), представляет собой ключевой подход, который может улучшить производительность и точность в процессе локализации и исправления угроз. ## Метод В статье представлен бенчмарк CyberTeam, разработанный для оценки и оптимизации ларге лангуадж моделей в процессе локализации угроз. Методология CyberTeam основывается на стандартизации процесса поиска угроз, превращая его в последовательность модульных шагов, каждый из которых соответствует конкретной задаче анализа или реагирования. Этот подход позволяет улучшить отказоустойчивость и гармонизировать процессы работы. Бенчмарк состоит из 30 задач, разделённых на 9 модулей, каждый из которых определяет специфический аспект анализа угроз. Это включает в себя такие задачи, как атрибуция угроз, анализ поведения системы, идентификация вредоносных действий, а также реагирование на инциденты. Модели LLM подходят для каждой задачи с помощью выполнения многократных модельных операций, организованных в логической последовательности. ## Результаты С помощью CyberTeam проведено сравнение нескольких LLM с основными цифровыми средствами безопасности. Оценивались показатели точности, скорости реакции и возможности автоматизации процессов. Результаты показали, что стандартизованный подход CyberTeam приводит к улучшению целостности и эффективности процессов поиска угроз в сравнении с открытыми и неструктурированными логиками работы. Кроме того, был определён показатель устойчивости моделей LLM к изменениям типов угроз, что демонстрирует их преимущество в динамических условиях. В целом, результаты показывают, что LLM могут значительно улучшить про

Опубликовано ## Контекст Крупномасштабные языковые модели (LLMs) воздействуют на многие аспекты безопасности информационных систем, в том числе и на обеспечение кибербезопасности. Одним из ключевых применений LLMs является поддержка кибер-треат-интеллектуалы (CTI), обеспечивая аналитикам информацию для эффективного мониторинга, анализа и реагирования на киберугрозы. Хотя LLMs демонстрируют высокую эффективность в различных задачах CTI, таких как распознавание угроз, детекция уязвимостей и защита от вторжений, на практике существуют значительные проблемы, связанные с их способностью обеспечивать качественную поддержку CTI. Эти проблемы могут быть вызваны не только ограничениями модели, но и характером проблемы CTI в самом деле. В настоящей работе мы рассматриваем эти проблемы, анализируя их причины в контексте современной безопасности информационных систем. ## Метод Для изучения проблем LLMs в CTI, мы применяем многоуровневое экспериментальное описание, основываясь на широком спектре CTI-бенчмаров и реальных угроз. Методология основывается на трех основных компонентах: стратификации, авторегрессионного уточнения и вклада человека в процесс уточнения и анализа ошибок LLMs. Данные для экспериментов были получены из различных источников, включая базы данных угроз и отчеты о реальных атаках. Мы разработали методы для глубокого понимания ошибок LLMs в сфере CTI, которые могут быть вызваны спуриорными корреляциями, противоречивыми знаниями и ограниченной общностью. ## Результаты В результате экспериментов мы выявили три главных причины, почему LLMs в CTI не всегда демонстрируют ожидаемую эффективность: 1. **Спуриорные корреляции** (spurious correlations) — модели часто опираются на недля задачи значимые факторы, что приводит к неточности вывода; 2. **Противоречивые знания** (contradictory knowledge) — содержание ответов LLMs может конфликтовать с другими частями знаний, которые они признали; 3. **Ограниченная общность** (constrained generalization) — по мере увеличения степени абстракции вопросов, LLMs не всегда могут предоставить точные ответы, отображающие новые сценарии. Эти ошибки были подробно изучены с помощью человеком-в-цикле (human-in-the-loop), что позволило доказать их реальность и влияние на реальные задачи CTI. ## Значимость Полученные результаты имеют большое значение для области безопасности информационных систем и практического применения LLMs в CTI. Мы продемонстрировали, что существуют серьезные узкие места в LLMs, ограничивающие их применение в CTI. Известные проблемы, такие как недостаточное учетвование контекста и ложные выводы, могут повлиять на

#### Контекст Knowledge distillation (KD) является ключевым методом для развертывания глубоких нейронных сетей (DNN) на устройствах с ограниченными ресурсами. Он предполагает передачу знаний от высокоэффективных, но ресурсоёмких "учительских" моделей к компактным, но производительным "ученическим" моделям. Этот подход позволяет обеспечить высокую производительность моделей на устройствах, где производительность и энергоэффективность являются критичными факторами. Несмотря на популярность и полезность этого метода, он не без недостатков. Одним из возможных рисков является то, что учительские модели могут быть заражены скрытыми backdoor-атаками, которые могут быть переданы студенческим моделям через процесс KD. Эта проблема становится особенно критичной, если учительские модели получены из третьих сторон, где невозможно гарантировать их безопасность. Эта работа рассматривает новый и критический вид такой атаки, названный **distillation-conditional backdoor attack (DCBA)**, который имеет уникальные характеристики и значительный потенциал для загруженных устройств. #### Метод Для реализации DCBA мы предлагаем метод, основанный на **bilevel optimization**. Этот подход позволяет имитировать процесс KD, оптимизировав студенческую модель внутренним уровнем, а затем использовать выходы этой модели для оптимизации учителя, чтобы внедрить зараженный триггер. Мы вводим **SCAR (Simple Conditional Attack with Reverse-mode)**, который обеспечивает эффективную инъекцию backdoor-атаки в учительскую модель при помощи явного задания условий. Наша инъекция триггера основывается на алгоритме **implicit differentiation**, что позволяет нам обеспечить точность и эффективность при решении этой сложной задачи. Ключевые отличительные черты нашего подхода заключаются в том, что он не требует изменений в данных или допущений о модели, что делает его универсальным и опасным в различных условиях. #### Результаты Мы проводим опыты на эталонных датасетах, таких как CIFAR-10 и ImageNet, используя различные модели, такие как VGG, ResNet и MobileNet. Мы также используем различные KD-техники, включая fit-tuning и attention-based distillation. Результаты показывают, что метод SCAR выполняет успешную инъекцию backdoor-атаки в ученические модели даже при очистке данных и незаметности для существующих методов обнаружения бэкдоров. Кроме того, наши результаты показывают, что SCAR может выполнить успешную атаку с высокой инъекционной стойкостью, даже при соблюдении формальных процедур обнаружения backdoor-атак. Эти результаты обнаруживают серьезную уязвимость в процессе KD, которая была до этого незамечена. #### Значимость Наша работа выделяет новую и критическую уязвимость в широко используемом KD-процессе.