#### **Контекст** Сетевая безопасность требует эффективного распознавания и реагирования на подключения, наносящие ущерб системе. Основным компонентом этой защиты являются Intrusion Detection Systems (IDS), которые отслеживают и анализируют действия, нарушающие безопасность. Однако существует значительная проблема: недостаток качественных данных для обучения моделей. Многие IDS сталкиваются с ограниченным количеством хорошо лейблированных примеров вредоносного кода, что снижает эффективность распознавания. Данная проблема настолько актуальна, что требуется развитие новых подходов для улучшения создания моделей даже при недостатке данных. #### **Метод** Предлагается рамка **GANGRL-LLM**, которая синтезирует принципы Generative Adversarial Networks (GAN) и Large Language Models (LLM) для улучшения моделирования вредоносных действий. Основная методология заключается в совместном тренировании дискриминатора и генератора. Дискриминатор, основанный на GAN, улучшает распознавание вредоносных шаблонов, используя генерируемые примеры и реальные данные. Генератор, основанный на LLM, усовершенствован с помощью сигналов вознаграждения от дискриминатора, чтобы улучшить качество генерируемого вредоносного кода. Этот парадигму совместного обучения расширяет возможности обучения с ограниченными данными. #### **Результаты** В экспериментах были использованы реальные данные о вредоносных действиях, включая SQL Injection (SQLi). Были проведены сравнительные анализы с другими подходами, показав высокую эффективность **GANGRL-LLM** в ситуациях с небольшим количеством лейблированных примеров. Обучение показало не только улучшение моделей вредоносного кода, но и повышение точности обнаружения SQLi. Эти результаты подтверждают универсальность фреймворка в разных атачных сценариях. #### **Значимость** Разработанная система может применяться в сетевой защите, где необходимы эффективные модели для распознавания и ответа на вредоносные действия. Основное преимущество заключается в улучшении качества обучения даже при недостатке данных. Это возможно благодаря использованию GAN и LLM, что делает систему устойчивой к недостатку информации. Данный подход может быть применен для создания новых, более надёжных систем обнаружения и защиты от сетевых угроз. #### **Выводы** **GANGRL-LLM** демонстрирует сильные способности в обучении с небольшим количеством лейблированных экземпляров. Он улучшает как синтез вредоносных действий, так и распознавание SQLi, что делает его важной компонентой в развитии систем защиты от вторжений. Будущие исследования будут направлены на расширение предложенного фреймворка для поддержки других типов вредоносных действий и улучшения

## Контекст Backdoor атаки являются серьезной угрозой для текстовых классификационных моделей в области естественного языкового процессинга. Хотя многие грязно-меток (dirty-label) атаки показали высокую эффективность в достижении высокой процентной доли обнаружения (ASR), нативно-меток (clean-label) атаки являются значительно более сложными. Модели часто используются в критических приложениях, таких как модели NLP, что делает критически важным исследование эффективных методов борьбы с такими атаками. Наше исследование сосредоточено на проблеме стратегического выбора образцов для улучшения эффективности атак в чистых-метках (clean-label) сценариях, где атаки должны оставаться незаметными для пользователей, не используя явное меткование. ## Метод Мы предлагаем три стратегии стратегического выбора образцов для улучшения эффективности атак: Minimum, Above50 и Below50. Эти стратегии определяют образцы, которые модель классификации ошибается или которые она классифицирует с небольшой уверенностью. Мы внедряем в эти образцы ускодыши (trigger patterns), чтобы усилить связь между ними и желаемым целевым меткой, которую проводит атакующий. Эти стратегии применяются к чистым-меткам (clean-label) вариантам четырех классических атак (InsertSent, WordInj, StyleBkd, SynBkd) и оцениваются на трех наборах данных (IMDB, SST2, HateSpeech) и четырьмя типами моделей (LSTM, BERT, DistilBERT, RoBERTa). Это позволяет проверить эффективность наших стратегий на различных моделях и данных. ## Результаты Наши эксперименты показали, что в чистых-метках (clean-label) сценариях, стратегия Minimum позволяет значительно повысить процент ASR (Attack Success Rate) в отношении случайных выборов образцов, без существенного снижения чистых (clean) точности модели. Это означает, что наши стратегии позволяют проводить высокоэффективные атаки, не вызывая подозрения в пользователей. Наши результаты также показали, что наши стратегии выполняются значительно лучше, чем текущая состоящая стратегия чистых-метка (clean-label), BITE, во многих случаях. Это подтверждает эффективность наших стратегий в стратегическом выборе образцов для улучшения чистых атак. ## Значимость Наши стратегии могут быть применены в многих областях, где чистые-метки (clean-label) атаки могут быть использованы для подделки текстовых классификационных моделей. Например, в новостных сервисах, социальных сетях и системах обработки естественного языка. Эффективность наших стратегий позволяет усилить угрозу чистых атак с минимальным влиянием на чистую точность модели, что делает их особенно опасными. Наши результаты демонстрируют, что стратегическое выбор об

## Контекст Объемный рост Интеллектуальных Транспортных Систем (ITS) ставит перед собой вызов в области защиты данных, которые поступают из различных источников и должны быть эффективно обработаны в режиме реального времени. Эта сложность возрастает в условиях многоуровневой и многонациональной архитектуры транспортных систем. Необходимость интеллектуального управления данными, обеспечивающего безопасность, контекст-активность и высокую производительность, является ключевой мотивацией для этого исследования. Основной целью является создание архитектуры, обеспечивающей эффективную защиту конфиденциальности данных с учетом уточненных политик доступа и уменьшения задержек в сетевых операциях. ## Метод Авторы предлагают модель, использующую цепочку релеев (Relay Chain) для управления защитой данных. Основной компонент — модифицированная схема Ciphertext-Policy Attribute-Based Encryption (CP-ABE), которая используется для защиты данных на основе атрибутов. Схема дополняется контекст-активным смарт-контрактом, работающим на централизованной цепочке релеев. Этот контракт анализирует метаданные данных, такие как тип события, время и географическая зона, для определения политики доступа. Данные, шифруемые с использованием CP-ABE, хранятся в локальных блокчейнах, позволяя избежать зависимости от симметричного шифрования или внешних хранилищ. Такой подход позволяет достичь высокой производительности и уменьшить задержки в коммуникации. ## Результаты Эксперименты проводились на данных, отражающих различные сценарии в системах Интеллектуальных Транспортных Систем. Были оценены скорость шифрования и расшифровки, задержка реакции и эффективность шифрования. Набор данных включал ситуации с высокой секретностью, такие как трассировка транспортных средств, и менее критичные, такие как распространение обновлений о роUTE. Результаты показали, что модель обеспечивает высокую производительность в режиме реального времени, необходимую для транспортных сетей, с минимальными задержками и высокой устойчивостью к атакам. ## Значимость Модель предлагается для применения в различных сферах, включая смарт транспорт, системы управления транспортом и системы безопасности на дорогах. Она обеспечивает конфиденциальность данных, уменьшает задержки в сети и повышает эффективность шифрования. Благодаря использованию цепочки релеев, модель демонстрирует высокую масштабируемость и гибкость, что позволяет применять ее в различных многонациональных и многоуровневых транспортных системах. Также

## Контекст LLarge Language Models (LLMs) становятся все более популярными, однако с ростом их мощности возникают новые проблемы, такие как уязвимость к jailbreak-атакам. Эти атаки могут позволить пользователям обходить механизмы саморегулирования, которые препятствуют моделям отвечать на небезопасные запросы. Несмотря на то, что многие исследования фокусируются на улучшении безопасности LLMs, не установлено, встроены ли эти модели настоящую знания о реальных правонарушениях или просто воспроизводят повреждающие языковые шаблоны. Это создает неоднозначность в оценке угроз, связанных с jailbreak, и вызывает вопрос о том, насколько же уязвимы эти модели на самом деле. ## Метод Для оценки угроз, связанных с jailbreak, авторы предлагают значительно изменить подход к экспериментам. Они используют знанийно-интенсивное развитие Q&A для исследования трех основных аспектов угроз: владение опасными знаниями, планирование вредоносных задач и жадность в оценке вреда. Вместо простого использования jailbreak-техник, авторы разделяют жадную роль от судьи. Это позволяет протестировать не только возможность модели выдать вредоносные ответы, но и ее способность оценить их вредность. Эксперименты проводятся на основе различных масштабных LLMs, что дает полное представление о их уязвимости. ## Результаты Исследования показали, что наличие вредоносных знаний у LLMs не всегда соответствует успеху jailbreak-атак. Таким образом, уязвимость моделей к jailbreak-атакам не является полностью отражением их угрозы в реальной жизни. Кроме того, существующие фреймворки, которые используют LLMs для оценки вреда, часто опираются на токсичные языковые шаблоны, что может привести к неточным оценкам. Эти результаты подчеркивают, что текущие методы оценки безопасности LLMs могут неточно представлять их реальную уязвимость перед вредоносными атаками. ## Значимость Полученные результаты имеют важное значение для развития безопасных технологий на основе LLMs. Изучение проблемы jailbreak позволяет выявить слабые места в существующих моделях и развить более надежные уровни защиты. Это также подчеркивает необходимость развития более точных методов оценки безопасности, которые могут более точно отражать реальную угрозу внедрения вредоносных знаний в LLMs. ## Выводы Эта работа показывает, что jailbreak-атаки недостаточно для оценки реальных угроз, связанных с вредоносными знаниями в LLMs. Важно перейти от простых jailbreak-тестов к более глубоким и знанийно-интенсивным подходам. Будущие исследования должны фокусироваться на создании более точных методов оценки безопасности, которые мо

## Контекст Область исследования сосредоточена на Model Extraction Attacks (MEAs) — систематических нападениях, направленных на копирование функциональности целевой модели машинного обучения (ML) с помощью открыто доступных интерфейсов. Эти атаки становятся возможными из-за роста использования Machine-Learning-as-a-Service (MLaaS), который обеспечивает доступ к мощным моделям ML с помощью простых API. Это продвижение обеспечивает широкий доступ к технологиям ML, однако также создает уязвимости, которые могут быть использованы злоумышленниками для украдения моделей, нарушения конфиденциальности и подрыва безопасности. Эти угрозы касаются не только интеллектуальной собственности, но и безопасности систем и отношений доверия в мире AI. Этот статус MEAs как важной проблемы мотивирует подробное изучение методов атак и защитных стратегий. ## Метод В статье предлагается новая категоризация MEAs на основе механизмов атак, стратегий защиты и используемых вычислительных парадигм. Описываются различные типы атак, включая black-box и white-box, и выделяются их принципы работы. Методы защиты рассматриваются в рамках синтетического шума, обучения с подкреплением, методов обобщения моделей и других. Архитектура исследования заключается в обобщений и сравнении этих методов, используя различные вычислительные платформы. Эксперименты выполняются с использованием различных данных, таких как CIFAR-10 и ImageNet, чтобы оценить эффективность атак и защитных методов. ## Результаты Результаты статьи основываются на экспериментальных исследованиях, проведенных на различных моделях и датасетах. Были изучены эффективность различных типов атак, в том числе их успешность в подборе моделей, точность и время выполнения. Также проанализированы защитные методы, включая модели с туннельной верификацией и методы, основанные на метриках защиты. Результаты показали, что некоторые защитные стратегии могут существенно снизить эффективность MEAs, но при этом ухудшают производительность модели или приводят к увеличению времени обучения. Эти результаты подчеркивают трудную проблему: поддержание баланса между безопасностью и производительностью. ## Значимость Эта работа имеет значительное значение для различных областей, включая AI-безопасность, юридические вопросы и социальные вопросы. Методы защиты, предложенные в статье, могут быть применены в MLaaS-платформах, чтобы уменьшить риск MEAs и защитить интеллектуальную собственность. Более широко, эти решения могут оказаться полезными для индустрии, разработчиков и пользователей, которые используют ML-модели в с

## Контекст Трансформеры стали основополагающим элементом современных ИИ-систем, вдохновив прорывы в области естественного языка, компьютерного зрения и мультимодальных моделей. Одной из актуальных задач для этих моделей является сбалансированная оптимизация производительности и вычислительных затрат. Модели "Микситура экспертов" (Mixture of Experts, MoE), активируя только необходимые подсети (эксперты) в зависимости от входных данных, предлагают эффективное решение этой задачи. Однако внедрение этой технологии в сторонние приложения создает новую угрозу для конфиденциальности пользователей. Адаптивная маршрутизация в MoE, когда входные токены динамически направляются к экспертам, оставляет узнаваемые временные и пространственные следы, которые могут быть использованы для перехвата конфиденциальных данных. Мы предлагаем MoEcho, первую аналитическую модель, демонстрирующую эти угрозы в системах MoE и их применении в технологиях масштабирования ИИ. ## Метод Мы разработали модель MoEcho, позволяющую отслеживать и анализировать временные и пространственные следы адаптивной маршрутизации в MoE. Методология включает в себя: 1. **Архитектурные сторонние каналы** — Cache Occupancy Channels (когда оперативная память содержит токены) и Pageout+Reload (когда данные перемещаются между кэшем и оперативной памятью). Эти каналы позволяют проследить за временными отслеживаниями во время вычислений. 2. **GPU Side Channels** — Performance Counter (когда модель использует определенные ресурсы) и TLB Evict+Reload (когда кэш инструкций перезагружается). 3. **Атаки** в четыре направления: - Prompt Inference Attack — угадывание токенов с использованием временных следов. - Response Reconstruction Attack — восстановление входных данных. - Visual Inference Attack — перехват конфиденциальных графических данных. - Visual Reconstruction Attack — восстановление целиком визуальных элементов. Эти атаки работают на различных платформах, включая CPU и GPU, и становятся опасными для широкого круга приложений, использующих MoE. ## Результаты Мы провели эксперименты на нескольких платформах, включая различные модели MoE (LLM и VLM). Результаты показали, что: - Мы смогли точно восстановить токены с помощью Prompt Inference Attack, оценивая временные следы, оставленные в модели во время вычислений. - Response Reconstruction Attack позволил восстановить входные данные с точностью до 90% на некоторых моделях. - Visual Inference Attack стал эффективным в перехвате изображений, выявляя детали, которые могут даже быть невидимы на прямой визуализации. - Visual Reconstruction Attack позволил восстановить целые изображения, используя временные отслеживания. Эти результаты указывают на серьезную угрозу для конфиденциальности пользова

Заголовок: IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents ## Контекст Large language model (LLM) agents широко применяются в реальном мире, где они используют инструменты для получения и обработки внешних данных для выполнения сложных задач. Однако при работе с недоверенными источниками данных (например, сайтах в сети) ответы инструментов могут содержать внедренные инструкции, которые подтачивают поведение агента и приводят к вредоносным последствиям. Эта угроза называется Indirect Prompt Injection (IPI). Существующие методы защиты, такие как улучшенные стратегии подачи фраз или дополнительные модели детекции, основываются на предположениях о безопасности модели и не учитывают структурных ограничений на агентское поведение. Без таких ограничений агенты остаются подверженными более сильным атакам, которые могут обойти защитные механизмы. Чтобы защититься от внедренных инструкций на самом источнике, мы предлагаем новую защитную модель под названием IPIGuard. ## Метод IPIGuard представляет собой защитную модель, которая представляет задачу выполнения агента в виде планирования динамического Tool Dependency Graph (TDG). Эта модель разделяет планирование действий от взаимодействия с внешними источниками данных. Каждый шаг выполнения представляет собой переход между узлами TDG, что позволяет контролировать и анализировать взаимодействие с инструментами на ранней стадии. Этот подход существенно сокращает нежелательные внешние вызовы, связанные с внедренными инструкциями, и улучшает устойчивость агентной системы к IPI-атакам. Наша архитектура гарантирует более структурированное поведение и значительно меньшую подверженность внешним угрозам. ## Результаты Мы проверили эффективность IPIGuard на бенчмарке AgentDojo, где агенты должны решать задачи в динамических условиях. Наши результаты показали, что IPIGuard значительно снижает число нежелательных вызовов инструментов, вызванных внедренными инструкциями, при этом сохраняя высокую точность и быстрое выполнение задач. Эти результаты демонстрируют преимущество IPIGuard над существующими методами в терминах баланса между эффективностью и устойчивостью к атакам. Благодаря этому, IPIGuard может стать ключевым элементом в создании более надежных и безопасных агентских систем. ## Значимость Предложенная модель имеет большое практическое значение в области применения LLM-агентов в реальном мире. Она может быть использована для защиты агентов от внедренных инструкций в различных сценариях, таких как системы поддержки клиентов, системы управления бизнес-процессами и системы рекомендаций. Благодаря структурированному подходу IPIGuard обеспечивает более

## Контекст Область исследования связана с проблематикой обеспечения безопасности в современных веб-средах, где активно используются агентные системы, которые динамически взаимодействуют с различными сервисами и ресурсами. Одной из основных проблем является возникновение логических уязвимостей в слое программного обеспечения (logic-layer threats), которые могут привести к утечке конфиденциальных данных, раскрытию идентификационных сведений и даже контрольной потерей. Существующие решения, такие как статические аутентификационные методы или стандартные протоколы безопасности, часто оказываются неэффективными против устраиваемых атак. Мотивирует это исследование потребность в новом, более устойчивом подходе, который бы обеспечил динамическое управление доступом, повышение уровня безопасности и возможность принятия адаптивных решений в условиях непредсказуемости. ## Метод Методология основывается на разработке новой архитектуры безопасности, названной Unified Security Architecture, которая интегрирует Zero-Trust Identity and Access Management (IAM) фреймворк. Основой этого подхода являются Decentralized Identifiers (DIDs) и Verifiable Credentials (VCs), которые позволяют создавать богатые, подтверждаемые агентские идентификаторы. Для управления открытием агентских учетных записей используется протокол-агностичный Agent Name Service (ANS). Для усиления защиты введены трехуровневый Trust Fabric и инновационные механизмы: Trust-Adaptive Runtime Environments (TARE), Causal Chain Auditing и Dynamic Identity with Behavioral Attestation. Эти методы объединены в систему, которая может адаптироваться к угрозам в реальном времени и с ограниченным риском. ## Результаты На базе разработанной архитектуры проводились эксперименты, которые демонстрируют эффективность в противостоянии логическим угрозам (logic-layer cyber intrusions, LPCI). Использовались симуляции атак и реальные данные о характере атак в текущих веб-решениях. В результате показано, что данная архитектура существенно улучшает защиту от описанных уязвимостей, снижает вероятность успешных LPCI-атак до минимального уровня и обеспечивает высокую степень надежности в работе с агентными системами. Эксперименты подтвердили возможность гибкого управления доступами, а также проверены работоспособность новых механизмов TARE и Dynamic Identity with Behavioral Attestation. ## Значимость Разработанная платформа может быть применена в различных сферах, в частности, в критически важных системах, таких как финансовые системы, здравоохранение, интеллектуальные города и телекоммуникации. Одним из основных преимуществ является высокая устойчивость к разнообразным логическим угрозам, которая обеспечивается динамическим управлением доступом и инно

## Контекст Finite State Machines (FSMs) являются ключевым элементом реализации контрольной логики в Systems-on-Chip (SoC). Однако их реализация в Verilog часто требует много времени и требует значительных технических навыков. Недавний прогресс в области Large Language Models (LLMs) позволил автоматизировать этот процесс, но существуют значительные проблемы, включая возможные возникновение безопасности. Особенно актуальная задача заключается в создании безопасных FSMs для применения на практике. В настоящей работе мы рассматриваем SecFSM, метод, который использует знания на тему безопасности, организованные в виде знаний в виде графа, для поддержки LLMs в создании безопасных Verilog-кодов. ## Метод SecFSM предполагает использование FSM Security Knowledge Graph (FSKG), который содержит подробные сведения об обнаружении угроз и решениях в сфере безопасности FSMs. Метод работает по следующему принципу: сначала анализируются входные требования к FSM, чтобы выявить возможные угрозы. Затем, FSKG используется для поиска информации, связанной с этими угрозами. Наконец, метод создает безопасные "продвижения" для генерации Verilog-кода, который тщательно учитывает эти угрозы. Этот подход позволяет LLMs создавать безопасный код, в котором большинство известных вариантов угроз будут предугаданы и устранены. ## Результаты Для оценки SecFSM мы создали выделенный набор данных, включающий академические, искусственные и индустриальные сценарии. Мы провели эксперименты, сравнив SecFSM с различными состояниями технологии LLMs. Результаты показали, что метод SecFSM превосходит другие методы по созданию безопасного Verilog-кода. Например, в тестировании на 25 безопасных тестовых сценариях, разработанных DeepSeek-R1, SecFSM показал исключительную производительность, успешно прошедший 21 из 25 тестов. Это доказывает, что SecFSM оказался эффективным в создании безопасного Verilog-кода. ## Значимость Метод SecFSM может привносить значительные преимущества в область создания безопасных и эффективных SoC. Он представляет собой важный шаг в автоматизации процесса создания FSM, с учетом их безопасности. Это имеет значимое значение для приложений, где безопасность является критически важной, например, в медицинских и финансовых системах. Будущие исследования могут рассматривать расширение FSKG для обнаружения все более сложных типов угроз и улучшение генерируемого кода. ## Выводы SecFSM представляет собой новую и эффективную методику для безопасной генерации Verilog-кода FSM. Он использует FSKG для оптимизации результатов, а также обеспечивает высокую продуктивность в созда

Зачастую, обнаружение проблем в проектах FPGA в ранних стадиях разработки требует специальных знаний в области безопасности, что может затруднить их раннее выявление. Недавние исследования рассматривали возможность применения боLовых языковых моделей (LLM) для детектирования уязвимостей в коде Verilog. Однако, существующие методы часто сталкиваются с проблемой недостаточного понимания структуры Verilog-кода, что приводит к несогласованным результатам. Мы предлагаем подход VerilogLAVD — первый пример использования LLM для генерации правил детектирования уязвимостей в Verilog на основе Verilog Property Graph (VeriPG). Этот подход сочетает синтаксические и семантические данные из AST, control flow и data dependency graphs. Используя LLM, мы генерируем правила для VeriPG на основе Common Weakness Enumeration (CWE). Наши эксперименты показали, что VerilogLAVD повышает F1-меру до 0.54 при сравнении с LLM и LLM с внешним знанием, что демонстрирует эффективность подхода.