## Контекст Появление Large Language Models (LLMs) ознаменовало новую эру в области генерируемых текстов, позволивших повысить автоматизацию процессов творчества и повысить эффективность решения задач. Однако с этим связана и новая проблема — возможность использования LLMs для создания сценариев шантажных звонков, которые могут осложнить жизнь пользователям и привести к потерям финансовыми и другими путями. Данная статья раскрывает проблему технологических средств, которые могут быть использованы в этом направлении. ## Метод ScamAgent — это автономная система, которая построена на базе LLMs и использует их для генерирования сценариев шантажных звонков. Она может взаимодействовать с пользователем в течение нескольких очередных раундов, при этом адаптируя свои ответы и учитывая динамику разговора. Это решение позволяет создавать более реалистичные сценарии, которые могут эмулировать реальные ответы пользователя. Для реализации этого процесса используется технология декомпозиции запроса, что позволяет скрыть намерение использования технологии от LLMs. ## Результаты В экспериментах было продемонстрировано, что ScamAgent может создавать шантажные сценарии, которые полностью эмулируют реальные звонки. Данные эксперименты были проведены на больших объемах данных с реальными шантажными звонками, что позволило создать реалистичные модели. Также было проверено, что системы с традиционными методами защиты, такими как блокировка запросов или фильтрация контента, не могут справиться с подобным типом угроз. ## Значимость Результаты, полученные в рамках данного исследования, могут быть применены в сфере защиты данных и предотвращения мошенничества. Данный подход может быть использован для разработки новых методов защиты от мошеннических звонков, в частности для создания моделей, которые могут анализировать и распознавать подобные сценарии. Это может привести к повышению уровня безопасности данных в сетях и повышению полномочий пользователей. ## Выводы В результате исследования было установлено, что технологии генерируемого текста могут быть использованы для создания шантажных сценариев. Данная проблема требует уделения большего внимания, так как может привести к серьезным последствиям. В будущем необходимо развить новые методы анализа данных и технологий для распознавания таких сценариев, чтобы повысить уровень защиты пользователей.

Модели больших языковых моделей (LLMs), являющимися основополагающими для развития естественного языкового обработки (NLP), оперируют огромными объемами данных, часто извлекаемыми из неконтролируемых источников. Это создает серьезные риски для их безопасности, такие как ввод злонамеренных команд, ядерные явления и уязвимости к действиям, направленным на токсичность или дата-подделку. Такие риски становятся критичными при использовании LLMs в критически важных системах, где требуется доверие пользователей и надёжность системы. В данном исследовании анализируются основные данные-риски для LLMs и предлагается набор мер по их устранению, включая адверсарный тренинг, RLHF и данных Augmentation. Также проводится классификация и анализ специальных датасета для тестирования защищенности моделей в различных сферах. Основные выводы статьи — это выделение перспективных направлений, таких как безопасное обновление моделей, объяснимость защитных механизмов и централизованное руководство, для поддержания безопасного и этичного развития LLMs.

**Резюме** В последние годы технологии атрибуции DeepFakes позволили выявлять следы, оставленные создательными моделями, и определять их источник. Однако это привело к развитию атак, стремящихся обойти эти методы, что, в свою очередь, способствует улучшению атрибутивных моделей. Однако до сих пор не было подходов, способных полностью убрать следы создательных моделей, позволяя глубокому подделке оставаться неотслеживаемой. В данной работе предлагается метод, основанный на мультипликативных атаках, который полностью удаляет следы создательных моделей, осложняя их подсчет даже при использовании защитных мер. Метод является универсальным и базований на технике глубокого обучения с использованием только реальных данных. Он может быть применен к различным создательным моделям и не зависит от атрибутивных моделей. Эксперименты показали, что этот метод достигает высокой успешности атаки (97,08%) против шести передовых атрибутивных моделей, несмотря на развитые защитные меры, эффективность остается высокой (72,39%). Результаты указывают на важность рассмотрения таких атак в разработке более надежных атрибутивных моделей.

**Резюме** С ростом популярности Large Language Models (LLMs) возникают новые вызовы, связанные с защитой приватности данных и эффективной интеграцией моделей в ресурс-контролируемые среды. Например, приватные LLM-услуги требуют высоких вычислительных мощностей, а доступ к общедоступным LLM-API ограничивается строгими требованиями по конфиденциальности. Разделенное обучение (Split Learning, SL) предлагает решение, доступное для различных доменов, включая приватные. Мы предлагаем VFLAIR-LLM, гибкий и эффективный фреймворк для SL, позволяющий запускать LLM-модели в защищенном режиме и дообучать их в ресурс-ограниченных условиях. Наша работа включает два режима разделения модели, поддержку трех типов задач и 18 датасетов, а также модули для оценки атак и защит. Мы проводим бенчмарк 5 атак и 9 защитных стратегий в различных SL-LLM-конфигурациях и даем рекомендации по оптимизации параметров и выбору модели, чтобы обеспечить эффективное применение SL-LLM в реальных сценариях.

**Резюме** В данной работе рассматривается проблема уязвимости коммуникационных каналов в Large Language Model-based Multi-Agent Systems (LLM-MAS), которые эффективно решают сложные и динамические задачи через интерактивное взаимодействие между агентами. Однако эти системы чрезвычайно восприимчивы к атакам, направленным на токсичность сообщений или напрямую направленные подделки, которые либо проявляются слишком очевидно, либо ограничиваются локальным воздействием. Мы предлагаем Multi-round Adaptive Stealthy Tampering (MAST), фреймворк, основанный на Monte Carlo Tree Search с использованием Direct Preference Optimization для обучения адаптивной политики атак, которая эффективно и легко заметно меняет логику коммуникации. Для сохранения стелсности применяются ограничения на семантическую и векторно-семантическую близость сообщений. Эксперименты показали, что MAST обеспечивает высокую эффективность атак с увеличенной стелсностью по сравнению с базовыми методами. Эти результаты подчеркивают важность создания эффективных механизмов безопасности коммуникаций в LLM-MAS.

## КОНТЕКСТ И ПРОБЛЕМАТИКА В современном цифровом мире организации сталкиваются с постоянно эволюционирующими киберугрозами, которые требуют инновационных подходов к обеспечению безопасности. Одной из ключевых проблем является обнаружение скрытых векторов атак и уязвимостей систем до того, как они могут быть использованы злоумышленниками. Традиционные методы тестирования и моделирования атак часто оказываются недостаточными для обеспечения надлежащего уровня защиты в условиях реальных угроз. Появление Security Chaos Engineering (SCE) открыло новые возможности для проверки надежности и эффективности защитных механизмов. SCE позволяет командам безопасности активно тестировать их системы, внедряя контролируемые сбои и аномалии, чтобы выявить слабые места. Однако, несмотря на перспективность этого подхода, его полный потенциал может быть полностью реализован только в сочетании с другими инновационными методами, такими как Breach Attack Simulation (BAS). BAS-платформы предназначены для моделирования реальных кибератак, позволяя организациям оценить свои системы защиты в условиях, максимально приближенных к реальности. Тем не менее, существующие решения BAS часто ограничены предопределенными сценариями и не всегда учитывают динамическую природу современных угроз. Интеграция SCE в BAS может стать решающим шагом к созданию более гибких и эффективных систем моделирования атак, которые будут учитывать не только известные, но и потенциальные уязвимости. Цель данного исследования — предложить архитектуру, которая объединяет SCE и BAS, используя данные из существующих баз телеметрии угроз, таких как MITRE Caldera. Это позволяет создавать динамические, адаптивные модели атак, которые могут существенно улучшить эффективность киберзащиты. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предлагаемый метод основывается на интеграции SCE и BAS через трехслойную архитектуру. Первый слой — **SCE Orchestrator** — отвечает за управление экспериментами по Security Chaos Engineering. Он формирует контролируемые сбои и аномалии в системе для тестирования ее устойчивости. Второй слой — **Connector** — служит мостом между SCE и BAS. Он обеспечивает интеграцию данных из SCE в BAS-платформу, позволяя создавать динамические модели атак, основанные на реальных условиях системы. Третий слой — **BAS** — реализует функционал моделирования атак, используя MITRE Caldera. Этот слой выполняет автоматизированные последовательности атак, строит инференсные деревья атак на основе профилей злоумышленников и их способностей. Интегрированная система позволяет проводить симуляции атак, которые не только имитируют реальные угрозы, но и адаптируются к изменяющимся условиям системы. Это обеспечивает более комплексное тестирование и повышает эффективность киберзащиты. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного подхода были проведены серии экспериментов. В этих экспериментах использовались реальные данные из систем безопасности, а также сценарии атак, основанные на профилях злоумышленников из MITRE Caldera. Результаты показали, что интеграция SCE с BAS позволяет выявить более сложные и скрытые векторы атак, которые могут быть пропущены традиционными методами. Автоматизированные атаки, сгенерированные системой, демонстрируют высокую точность и эффективность в выявлении уязвимостей. Кроме того, использование инференсных деревьев атак позволило оптимизировать процесс идентификации и классификации угроз, что существенно повышает эффективность реагирования на инциденты. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Интеграция SCE и BAS открывает новые возможности для киберзащиты. Этот подход может быть применен в различных отраслях, где критически важно обеспечить высокую степень защиты систем от киберугроз. Преимущества этого подхода включают в себя улучшенную идентификацию уязвимостей, более эффективное тестирование защитных механизмов и повышение уровня готовности к реальным кибератакам. Это может быть особенно полезно для крупных корпоративных сетей, финансовых учреждений и критически важных инфраструктур. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Интеграция SCE и BAS представляет собой прорыв в области киберзащиты, позволяющий создавать более динамические и эффективные системы моделирования атак. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры, внедрении машинного обучения для анализа данных атак и расширении областей применения этого подхода.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Федеративное обучение (Federated Learning, FL) становится все более популярным подходом к совместному обучению моделей машинного обучения, сохраняя при этом конфиденциальность данных. Однако обеспечение безопасности в FL представляет серьезные вызовы, особенно в кросс-девайс сценариях, где устройства имеют различные характеристики и распределения данных. Традиционные методы гомоморфного шифрования (Homomorphic Encryption, HE), используемые для защиты конфиденциальности, характеризуются высокими вычислительными издержками и сложностью адаптации. Selective HE методы, которые частично шифруют модельные параметры с помощью глобального маска, были предложены для снижения вычислительных издержек и упрощения адаптации. Однако в кросс-девайс сценариях, где данные клиентов хетерогенны, эти методы могут приводить к ухудшению производительности и увеличению времени обучения из-за "straggling" клиентов. Кроме того, традиционные подходы часто не могут эффективно балансировать безопасность и производительность в условиях неравномерного распределения данных. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этих проблем был предложен метод SenseCrypt, который использует подход на основе чувствительности (Sensitivity-guided selective Homomorphic EnCryption) для адаптивного балансирования безопасности и вычислительных издержек в кросс-девайс сценариях FL. Метод состоит из нескольких этапов. Во-первых, был разработан метод кластеризации клиентов на основе их распределений данных. Этот метод использует метрику чувствительности параметров модели для определения схожести данных клиентов. Затем, для каждого клиента в кластере, был разработан механизм оценки, который определяет количество параметров модели, которые могут быть зашифрованы без причинения "straggling". На последнем этапе, для каждого клиента была сформирована и решена многокритериальная оптимизационная задача, целью которой является минимизация вычислительных издержек HE и максимизация безопасности модели. Это позволяет выбирать оптимальный набор параметров для шифрования, сохраняя при этом высокую точность модели и снижая время обучения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты были проведены на различных наборах данных для оценки эффективности SenseCrypt по сравнению с традиционными методами HE. Результаты показали, что SenseCrypt успешно защищает модель от современных атак инверсии, обеспечивая при этом высокую точность модели, сравнимую с точностью на IID данных. Кроме того, SenseCrypt значительно сокращает время обучения. В зависимости от набора данных и конфигурации, время обучения было сокращено на 58.4%-88.7% по сравнению с традиционными методами HE. Это подтверждает эффективность предложенного подхода в условиях неравномерного распределения данных и различных характеристик клиентов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ SenseCrypt имеет широкое применение в различных областях, где необходимо обеспечить безопасность и конфиденциальность данных во время обучения моделей машинного обучения. Он может быть использован в сферах здравоохранения, финансов, телекоммуникаций и других, где данные часто хранятся на различных устройствах и имеют различные распределения. Преимущества SenseCrypt включают в себя снижение вычислительных издержек, улучшение производительности и сохранение высокой точности модели. Это делает его привлекательным для практического применения в реальных системах FL. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ SenseCrypt представляет собой эффективный и практически значимый подход к обеспечению безопасности в кросс-девайс сценариях FL. Он успешно решает проблему высоких издержек и "straggling" клиентов, характерных для традиционных методов HE. В будущем можно рассмотреть дальнейшее улучшение метода, включая оптимизацию для более сложных сценариев и использование более продвинутых метрик для оценки чувствительности параметров модели. Также могут быть исследованы возможности интеграции SenseCrypt с другими методами обеспечения безопасности в FL.

## КОНТЕКСТ И ПРОБЛЕМАТИКА В последнее время Large Language Models (LLMs) становятся все более интегрированными с графовыми структурами данных, что позволяет использовать их для задач, таких как классификация узлов, где традиционно доминировали Графовые Нейронные Сети (GNNs). Однако, несмотря на высокую эффективность такой интеграции, вопрос их устойчивости к адверсаряльным атакам остается в целом неизученным. Адверсаряльные атаки, которые могут быть направлены как на этап обучения (poisoning attacks), так и на этап тестирования (evasion attacks), представляют значительную угрозу для надежности моделей, особенно в контексте графовых структур. В данной статье авторы предпринимают первые шаги в изучении уязвимостей графо-ориентированных LLMs, анализируя два представительных модели: LLAGA (Chen et al., 2024) и GRAPHPROMPTER (Liu et al., 2024). Они применяют существующие методы атак, разработанные для графовых моделей, чтобы оценить возможности их использования против LLMs. Кроме того, авторы обнаруживают новую атакованную поверхность для LLAGA, где злоумышленник может внедрять вредоносные узлы в последовательность узлов, что может серьезно понизить качество работы модели. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы используют различные методы адверсаряльных атак, включая такие, которые вносят изменения в структуру графа (poisoning attacks) или во входные данные модели во время тестирования (evasion attacks). Для LLAGA, они используют подход, в котором злоумышленник может добавить вредоносные узлы в последовательность, что приводит к серьезному ухудшению производительности модели. Для GRAPHPROMPTER, которая использует GNN в качестве кодировщика, авторы оценивают ее устойчивость против таких атак. Кроме того, авторы предлагают новый метод защиты под названием GALGUARD. Этот метод представляет собой комбинацию модуля коррекции функций, основанного на LLMs, и адаптированных методов защиты GNN от структурных атак. GALGUARD предназначен для коррекции возможных внесенных изменений в функциональные параметры и структурные изменения в графе, что позволяет повысить устойчивость модели к атакам. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы проводят широкий спектр экспериментов, используя различные наборы данных для оценки эффективности предложенных методов атак и защиты. Исследования показывают, что LLAGA более уязвима к атакам, особенно когда злоумышленник может внедрять вредоносные узлы в последовательность. GRAPHPROMPTER, с другой стороны, демонстрирует большую устойчивость, в основном благодаря использованию GNN в качестве кодировщика. Однако, обе модели остаются уязвимыми к незаметным изменениям в функциональных параметрах, что подтверждает необходимость в дополнительных методах защиты. Результаты экспериментов также показывают, что GALGUARD эффективен в снижении воздействия атак, особенно когда речь идет о структурных изменениях в графе. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Исследование имеет значительное практическое значение, особенно в контексте безопасности и надежности графо-ориентированных LLMs. Раскрытие уязвимостей и разработка методов защиты, таких как GALGUARD, могут помочь улучшить безопасность моделей в реальных приложениях, где графовые данные играют ключевую роль. Это может быть применимо в таких областях, как анализ социальных сетей, биоинформатика и логистика, где графы широко используются для моделирования сложных систем. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данного исследования были получены важные результаты, которые показывают, что графо-ориентированные LLMs могут быть уязвимы к различным видам адверсаряльных атак. Однако, предложенный метод защиты GALGUARD демонстрирует потенциал для улучшения их устойчивости. Будущие исследования могут фокусироваться на дальнейшем улучшении этих методов защиты и разработке новых подходов для обеспечения безопасности графо-ориентированных LLMs.

## КОНТЕКСТ И ПРОБЛЕМАТИКА В современном мире, где киберугрозы становятся все более частыми и сложными, своевременная и эффективная реагирование на инциденты является критическим фактором обеспечения безопасности. Однако определение правильных действий по реагированию для сложных систем представляет собой значительную техническую проблему. Традиционные методы часто требуют больших ресурсов и не всегда обеспечивают оптимальные решения. Одним из перспективных подходов к решению этой проблемы является использование больших языковых моделей (LLMs), которые включают в себя обширные знания в области кибербезопасности. Эти модели могут помочь операторам безопасности в процессе реагирования на инциденты, предоставляя рекомендации и планы действий. Однако существующие методы, основанные на prompt engineering фронтирных LLMs, столкнулись с рядом проблем. Во-первых, они являются дорогостоящими в использовании. Во-вторых, они часто вызывают галлюцинации — неточные или неправильные ответы, что может привести к нежелательным последствиям в критически важных ситуациях. В данной работе авторы предлагают новый подход к использованию LLMs для планирования реагирования на инциденты, который снижает вероятность галлюцинаций и одновременно остается легковесным и эффективным с точки зрения вычислительных ресурсов. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предложенный метод состоит из трех основных этапов: fine-tuning, информационный поиск и планирование с просмотром вперед (lookahead planning). 1. **Fine-tuning**: На этом этапе модель обучается на специфических данных, связанных с кибербезопасностью, что позволяет адаптировать ее к конкретной области использования. Это помогает улучшить точность и релевантность получаемых ответов. 2. **Информационный поиск**: Этот этап включает в себя поиск и извлечение релевантной информации из базы знаний или документов, связанных с конкретным инцидентом. Это помогает модели получать более точную информацию, необходимую для генерации плана действий. 3. **Lookahead Planning**: На последнем этапе модель использует полученную информацию для создания плана действий с учетом возможных последствий каждого шага. Этот подход позволяет снизить вероятность галлюцинаций, так как модель проверяет каждый шаг плана перед его финальным формированием. Авторы доказывают, что при использовании этого метода вероятность галлюцинаций может быть сделана произвольно малой за счет увеличения времени планирования при определенных условиях. Кроме того, метод является легковесным и может работать на обычном оборудовании, что делает его доступным для широкого круга пользователей. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода авторы провели эксперименты на данных из логов инцидентов, описанных в литературе. Результаты показали, что метод достигает до 22% более коротких времени восстановления после инцидентов по сравнению с фронтирными LLMs. Кроме того, метод демонстрирует хорошую адаптацию к различным типам инцидентов и реакционным действиям, что подтверждает его широкую применимость. Эксперименты также показали, что метод может быть эффективен даже при ограниченных вычислительных ресурсах, что делает его практичным для реального применения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет значительное практическое значение для области кибербезопасности. Он может быть использован для улучшения процесса реагирования на инциденты, что в свою очередь помогает снизить время восстановления и снизить вероятность возникновения дополнительных угроз. Одним из главных преимуществ этого метода является его легковесность и возможность использования на обычном оборудовании, что делает его доступным для малого и среднего бизнеса, а также для организаций с ограниченными бюджетами. Кроме того, метод позволяет снизить вероятность галлюцинаций, что является критическим фактором для принятия верных решений в критически важных ситуациях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данной работы был представлен новый подход к использованию LLMs для планирования реагирования на инциденты с уменьшенной вероятностью галлюцинаций. Этот метод демонстрирует значительные преимущества по сравнению с традиционными подходами, включая уменьшение времени восстановления и широкую адаптацию к различным типам инцидентов. В будущем, исследования могут быть направлены на дальнейшее улучшение точности и эффективности метода, а также на разработку более продвинутых методов для снижения вероятности галлюцинаций. Кроме того, может быть исследована возможность интеграции этого метода с другими системами кибербезопасности для создания более комплексных решений.

**Резюме:** Существующие кибербезопастностные плейбуки часто представлены в неструктурированных, немашиночитаемых форматах, что ограничивает их автоматизацию и взаимодействие с платформами Security Orchestration, Automation, and Response (SOAR). Данная статья предлагает метод автоматического преобразования таких плейбуков в стандартизированный, машиночитаемый формат CACAO, используя большие языковые модели (LLM) и методы Prompt Engineering. Разработанный модульный пайплайн включает синтаксический анализатор для обеспечения корректности и итеративный механизм уточнения для уменьшения синтаксических ошибок. Исследование проведено на базе набора данных с разнообразными плейбуками и соответствующими ручными CACAO-спецификациями. Результаты показывают, что предложенный подход значительно улучшает точность преобразования, эффективно обрабатывает сложные структуры рабочих процессов и существенно сокращает ошибки, демонстрируя практическую применимость в автоматизации кибербезопасностных задач.