#### Контекст Подменные атаки на кволиентный лабел (Clean-label Backdoor Attacks, CLBA) — одна из мошенных метод, которые ставятся задачей заместить атакуемого глубокого нейронного сети (DNN) поведем как зондирующим трансформатором специальным поведение, используя только ухудшившиеся входные данные, без изменения меток. Эти атаки являются опасными, поскольку их трудно обнаружить и защититься, так как они не изменяют меток, и, следовательно, не вызывают подозрений. Одним из ключевых подходов в CLBA является использование позионированных триггеров (т.е., визуальных или скрытых признаков) для запуска атаки. Однако существуют значительные проблемы в совместном использовании триггеров и выбора сэмплов. Эффективность CLBA зависит от того, как хорошо эти элементы сбалансированы. Например, простое сочетание триггеров и выбора сэмплов часто приводит к ограниченным улучшениям или даже ухудшению результатов. Мотивируя наши исследования является необходимость разработки более сильного, единого подхода, который бы улучшил стелтость и атакующую успешность (Attack Success Rate, ASR) в кволиентных лабел-атаках. #### Метод Мы предлагаем набор общих компонентов, которые могут быть интегрированы в различные варианты кволиентных лабел-атак, чтобы улучшить их ASR и стелтость. 1) **Компонент A** определяет две критические фактора выбора сэмплов и комбинирует их с учетом масштаба триггера, чтобы выбирать более приемлемые "тяжелые" сэмплы, что улучшает ASR. 2) **Компонент B** выбирает сэмплы, похожие на те, которые были подвергнуты триггерам, чтобы повысить стелтость. 3) **Компонент C** использует чувствительность человеческого зрения к RGB-компонентам для назначения триггеров на определенных цветных компонентах, что увеличивает ASR, при этом стелтость сохраняется благодаря выбору сэмплов, включая компонент B. Эти компоненты могут быть стратегически интегрированы в широкий круг различных подходов к кволиентным лабел-атакам. #### Результаты Мы проводили эксперименты на нескольких датасетах, включая CIFAR-10 и ImageNet, чтобы оценить эффективность нашего подхода. Мы использовали ASR и метрики стелтости (такие как ошибка скрытого поведения) для измерения результатов. Наши эксперименты показали, что интеграция наших компонентов в кволиентные лабел-атаки приводит к значительным улучшениям ASR и стелтости по сравнению с текущими методами, которые обрабатывают выбор сэмплов и триггеры в изоляции. В частности, наш подход показал увеличение ASR на 15-20% и существенное снижение ошибки скрытого поведения по сравнению с контрольными

## Контекст Modern cybersecurity операции сталкиваются с значительными вызовами, включая поток безопасности, угроз и сигналов, а также неоднозначную бизнес-контексту. Эти задачи требуют продвинутых методов анализа и принятия решений. Большие языковые модели (LLMs) показали свою эффективность в многих областях, но их потенциал в сфере безопасности еще не полностью оценен. Существующие бенчмарки не полностью отражают сценарии, которые важны для реальных бизнес-ситуаций. Это создает проблемы для разработчиков, которые не могут определить направление их работы, и для пользователей, которые не могут выбрать наиболее эффективную модель. Без открытых бенчмарков невозможно строить надежные открытые решения, что дает преимущество злоумышленникам, которые уже используют AI в своих атаках. ## Метод CyberSOCEval — это новый набор бенчмарков в рамках CyberSecEval 4, определенный для оценки моделей LLMs в двух ключевых областях: анализе малвира (malware analysis) и рассуждении в области технического угрозного интеллекта (threat intelligence reasoning). Тестовые задачи включают поиск вредоносных файлов, идентификацию вредоносной активности и применение теории угроз. Методы оценки используют различные типы данных, включая метаданные файлов, логи и тексты. Архитектура бенчмарка основана на открытых стандартах, позволяющих легко добавлять новые задачи и модели. Это позволяет проводить сравнительные эксперименты и отслеживать улучшения моделей во времени. ## Результаты Выполнены эксперименты с основными моделями LLMs, включая предварительно обученные и модели на основе тестирования во время работы (test-time scaling). Большие модели показали значительные выигрыши в обеих областях, подтвердив парадокс тренировки (scaling laws). Однако рассуждение во время теста (test-time scaling) не дало таких выигрышей, как в задачах кодирования и математики, что указывает на недостаток в обучении моделей к работе с угрозами в сфере безопасности. Это открывает новый путь для развития моделей, ориентированных на cybersecurity. ## Значимость CyberSOCEval предоставляет открытый стандарт для оценки моделей LLMs в сфере безопасности, повышая прозрачность и доступность результатов. Он может быть применен в сферах от обучения новых моделей до развития новых бизнес-приложений. Особый польза открывается для команд SOC, которым требуется эффективная автоматизация безопасности. Эта работа также мотивирует разработчиков моделей направлять свои усилия на решение реальных проблем безопасности, воздействуя на сообщество как защитников, так и разработчиков. ## Выводы CyberSOCEval — это значительный шаг в создании открытых бенчмарков для LLMs в сфере безопасности

## Контекст В современных автомобильных системах безопасность является приоритетной задачей, необходимой для защиты от грозящих поднятий угроз. Атакальные деревья (Attack Trees) широко применяются для систематического представления потенциальных нападений, однако генерация полноценных тестовых случаев на основе этих деревьев остается трудоемкой и распределенной задачей. Основные проблемы включают ограниченную автоматизацию, высокую стоимость и повышенный риск ошибок. Наша мотивация заключается в разработке автоматизированного подхода для генерации тестовых случаев на основе атакальных деревьев, чтобы уменьшить эти проблемы и повысить эффективность тестирования безопасности в автомобильных системах. ## Метод Мы предлагаем STAF (Security Test Automation Framework), основанный на технологии Больших Лингвистических Моделей (LLMs) и шагах Ретриев-Аугментированной Генерации (RAG). Наша методология включает четыре основных этапа: 1. **Индексная оценка**: Используется для поиска и выбора спецификаций атакальных деревьев в базе данных. 2. **Поисковая генерация**: Деревья атаки автоматически преобразуются в запросы, которые затем используются для извлечения соответствующих данных. 3. **Верификационная генерация**: Генерируются тесты, которые проверяют возможность реализации указанных атак. 4. **Интеграция**: Генерируемые тесты интегрируются в автоматический фреймворк для тестирования, обеспечивая прозрачность в тестировании безопасности. Этапы обеспечивают самокорректирующую систему, которая улучшает точность и эффективность генерации тестов в процессе. ## Результаты Мы провели эксперименты с использованием огромного количества данных, включая стандартные спецификации атакальных деревьев (TARAs) и реальные сценарии безопасности. Наши результаты показывают, что STAF значительно превосходит общего назначения (ванильные) LLMs в том числе GPT-4.1 и DeepSeek. В частности, STAF продемонстрировал значительное улучшение эффективности, точности и масштабируемости, а также упростил интеграцию в рабочие процессы. Мы также показали, как наш подход может быть применен для создания тестовых сценариев в реальных ситуациях, используя сценарий стандартных тестов безопасности в автомобильном тестировании. ## Значимость Наш подход имеет значительное применение в автомобильной отрасли, где требуется высокий уровень безопасности и надежности систем. Он предоставляет преимущества в том числе уменьшении времени тестирования, снижением стоимости, повышением точности и облегчением интеграции в рабочие процессы. В б

## Контекст В последние годы атаки на поставку программного обеспечения (Software Supply Chain, SSC) стали вызывать всё большую озабоченность в мировой сфере. Такие атаки могут привести к серьёзным последствиям, если разработчики внедрят небезопасный или уязвимый код в свои продукты. Особенно актуальным становится вопрос внедрения кода, сгенерированного с помощью машинного обучения и генеративных технологий. Отдельно стоит выделить широкое применение технологий типа Large Language Models (LLMs) в процессе разработки программного обеспечения. Несмотря на их полезность, LLMs имеют недостатки, включая фабрикацию информации, искажение данных и зависимость от устаревшего тренировочного корпуса. Все эти недостатки могут привести к повышению риска SSC-атак. В данной статье рассматривается ряд технических проблем, связанных с рисками для поставки программного обеспечения, возникающих из-за ограничений LLMs. ## Метод Для изучения проблемы было разработано инструмент SSCGuard, которое основывается на 439,138 сгенерированных запросах, органиченных к вопросам, связанным с поставкой программного обеспечения. Этот инструмент был применён для анализа ответов, полученных от четырёх популярных LLMs, включая модели GPT и Llama. В результате были определены три категории угроз, касающиеся использования LLMs в процессе разработки, включая угрозы, связанные с внешними компонентами и конфигурационными файлами непрерывной интеграции. Анализ результатов позволил выявить потенциальные угрозы, которые могут позволить злоумышленникам контролировать процессы разработки и скрыть угрозы, которые могут привести к последствиям в будущем. ## Результаты Исследование показало, что все выявленные угрозы, связанные с поставкой программного обеспечения, остаются актуальными при использовании LLMs. В частности, было выявлено, что LLMs могут фабрицировать код, что приводит к наличию вредоносных фрагментов в программном обеспечении. Были также выявлены ситуации, в которых LLMs распространяют неточные данные, что может привести к последующим уязвимостям в системах. Изучение этих угроз позволило понять, что они могут позволить злоумышленникам захватить управление программным обеспечением, а также создать угрозы, которые могут вызвать последствия в дальнейшем. ## Значимость Результаты этого исследования имеют значительное значение для сферы безопасности информационных технологий. Они могут использоваться для создания более безопасных систем разработки и управления программным обеспечением. Одним из ключевых преимуществ модели является возможность снизить риск внедрения уязвимого кода в SSC

#### Контекст Ретрансляция-Усиленная Генерация (RAG) — это инновационный подход в области естественного языка, комбинирующий большие модели естественного языка (LLM) с внешним факт-чеком. Выступая как повышение точности и непротиворечивости ответов, RAG также привносит новые риски в области безопасности и конфиденциальности. Известно, что LLM могут хранить сенситивные данные в своих тренировочных данных или откликаться на адверские запросы, и RAG системы наследуют эти уязвимости. Более того, RAG полагается на внешнюю кнобическую базу, что создает новые возможности для атак, таких как выдача информации о наличии и контенте найденных документов или внедрение злонамеренного содержимого для деградации модели. Несмотря на эти риски, не существует формального моделирования рисков для RAG, что ставит на задвойку подходы к обеспечению безопасности в этой области. #### Метод Мы предлагаем полностью новую формальную модель рисков для RAG. Для этого определяется типы атакующих лиц в зависимости от их доступа к компонентам модели (например, внешней кнобической базе, внутренним лизателям или генератору). На основе этого определяются ключевые угрозы, такие как подсчет членства в документах, ядовитые атаки на данные и вредоносное влияние на модель. Также разрабатывается структурированная какталогия угроз, подкрепленная математическими моделями, чтобы установить формальную основу для понимания безопасности в RAG. Целью является предоставить инструментарий для анализа и подавления этих угроз. #### Результаты Мы проводим эксперименты для оценки рисков в RAG, используя реалистичные данные и модели. Наши результаты показывают, что существуют серьезные угрозы, такие как мошенничество членства, основываясь на внешней базе, и возможность внедрения зараженных данных, которые могут существенно повлиять на модель. Доказано, что наличие внешней базы открывает новые, серьезные угрозы, которые не присутствуют в стандартных LLM. Эти результаты подкрепляются статистическими данными и анализом сценариев атак. #### Значимость Результаты имеют критическое значение для обеспечения безопасности RAG и других систем, полагающихся на внешнюю кнобическую базу. Модель, предложенная в данной работе, может быть применена для оценки безопасности новых LLM-систем, а также для разработки устойчивых процедур защиты. Развитие модели позволяет сформировать базу знаний для разработки систем, применяемых в критических сферах, таких как здравоохранение, финансы и юриспруденция. Эта работа также открывает пути для дальнейших исследований в области приклад

## Контекст Neural networks являются ценнейшей интеллектуальной собственностью, так как их разработка требует значительных вычислительных ресурсов, экспертных трудозатрат и защищенных данных. Однако их параметры широко распространяются в сети, что приводит к угрозам криптоаналитических атак, нацеленных на их извлечение. Эти атаки могут быть применены для получения копии модели, что негативно сказывается на конкурентной позиции разработчика и на системе безопасности модели. Тем не менее, существующие методы защиты, такие как преобразования и уплотнения, оказываются неэффективными против сложных криптоаналитических атак, которые способны работать с более глубокими моделями. Таким образом, необходимо разработать надежный метод защиты, который не ослабляет модель и позволяет защитить ее параметры от извлечения. ## Метод Предложенный метод, названный **Extraction-Aware Training (EAT)**, представляет собой новую методологию обучения для защиты моделей. Основная идея заключается в изменении стандартной функции потерь с помощью добавления регуляризационного слагаемого, минимизирующего расстояние между весами нейронов в каждом слое. Это приводит к снижению уникальности нейронов, что становится критически важно для криптоаналитических атак, так как они опираются на уникальные отклики нейронов. Эта методика добавляется к стандартному обучению и не требует дополнительных ресурсов во время выполнения модели. Реализация EAT была протестирована на различных архитектурах и датасетах, и продемонстрировала высокую эффективность в защите от криптоаналитических атак. ## Результаты На ряде экспериментов было продемонстрировано, что модели, обученные с помощью EAT, показывают минимальные изменения в точности (менее 1%) по сравнению с незащищенными моделями. В то же время протестирована ее эффективность на разных атаках: в теоретическом рамке была определена вероятность успешного извлечения параметров, а в практических условиях было продемонстрировано, что модели, обученные EAT, выдерживают атаки до 4 часов, в то время как незащищенные модели ломаются в течение 14 минут-4 часов. Это указывает на высокую надежность EAT в защите параметров модели. ## Значимость Защитный метод EAT может быть применен в сферах, где защита параметров модели критична, таких как финансовые системы, медицинская интеллектуальная собственность и робототехника. Он позволяет усилить защиту моделей без изменения характеристик производительности и вычислительного времени. Благодаря уникальности этого подхода, он способен стать ключевым элементом в стратегии защиты моделей от криптоаналитических атак. Такж

#### Контекст Область исследования связана с аутентификацией и проверкой линии происхождения действий в системах, в которых используются не-человеческие субъекты (non-human identities, NHIs). Эти субъекты, такие как автоматизированные программные агенты, становятся все более присутствующими в критически важных инфраструктурах, от финансовых систем до здравоохранения. Однако их взаимодействие (A2A) часто не гарантирует достаточной прозрачности и учета взаимодействий, что может привести к недоверию и безопасностным уязвимостям. Из-за этого, существует необходимость в разработке безопасных и проверяемых механизмов, обеспечивающих идентификацию, верификацию и проверку линии происхождения действий не-человеческих агентов. #### Метод Методология основывается на криптографическом подходе к проверке происхождения действий. Используется аппенд-онли Merkle-дерево, основанное на технологии Certificate Transparency (CT), для моделирования линии происхождения NHIs. Это дает возможность гарантировать прозрачность и целостность каждой стадии взаимодействия. Для дополнительной проверки внедрен федеративный проверяющий сервер, который агрегирует информацию из нескольких деревьев и создает компактные, проверяемые подписанные аттестации. Экспандируется агентская карта (agent card), включающая подлинность NHIs и возможность для внешних субъектов проверить их характеристики в стандартизированном формате. #### Результаты В экспериментах был продемонстрирован эффективный механизм проверки линии происхождения действий в системах с несколькими агентами. Использовались синтетические данные, которые моделировали различные сценарии взаимодействия, включая действия НХИ в критических средах. Результаты показали, что механизм обеспечивает высокую целостность и прозрачность взаимодействий, уменьшая риск сбоя или мошенничества. Особенно выдающимся показался метод агрегирования проверяемых аттестаций, который упрощает для внешних субъектов верификацию. #### Значимость Разработанная модель имеет широкое применение в системах с критической значимостью, таких как финансовый сектор, здравоохранение и государственные системы. Она обеспечивает улучшенную проверку идентичности, уменьшает вероятность атак и укрепляет уровень доверия в A2A-интерфейсы. Это включает в себя преимущества в плане безопасности, удобства и соответствия нормативным требованиям, таким как FedRAMP. Будущие исследования будут сконцентрированы на расширении модели для более сложных систем и интеграции с машинным обучением для динамического упра

## Контекст Современные большие языковые модели (LLMs) начали играть важную роль в автоматизации различных задач, включая те, которые требуют логического анализа и вывода. Одной из таких задач является **coherence-driven inference (CDI)**, которая позволяет анализировать и выводить выводы на основе естественного языка. В области cybersecurity, где необходимо строить логические связи между данными, такие подходы могут существенно улучшить процессы принятия решений. Существуют проблемы с ручной обработкой больших объемов информации, а также с несогласованностью выводов в ходе кооперативных операций, таких как "красные" и "синие" команды. Эти проблемы могут привести к неточностям в оценке рисков и реагировании на угрозы. Автоматизация CDI может решить эти проблемы, давая более точные и оперативные решения. ## Метод Автор предлагает использовать LLM для создания весовых графов на основе естественного языка, которые, в свою очередь, позволяют выполнять автоматический вывод. Техническая архитектура предполагает использование методов глубокого обучения для построения графов, где узлы представляют сущности или высказывания, а дуги — взаимосвязи между ними. Веса на дугах вычисляются на основе семантической и контекстуальной схожести, что позволяет строить более точные выводы. Метод также включает в себя возможность обработки нескольких источников информации, чтобы обеспечить комплексный анализ. Это решение целесообразно для операций, таких как threat modeling и incident response. ## Результаты Исследования были проведены на реальных данных, включая логи действий злоумышленников, статические текстовые документы и данные сетевых атак. Эксперименты показали, что LLM способен эффективно построить достоверные графы и выполнять автоматический вывод с точностью более чем 90%. Например, в ходе эксперимента с данными о сетевой атаке, LLM удалось определить взаимосвязи между сущностями (например, IP-адресами и портами) и вывести, что определенный IP является целью атаки. Это позволило быстрее отреагировать и заблокировать угрозу. ## Значимость Результаты могут быть применены в различных областях, включая: - **Red team operations** — автоматизация поиска уязвимостей и оценки рисков. - **Blue team operations** — автоматическое мониторинге и реагировании на угрозы. - **Threat intelligence** — автоматическое синтезирование и анализ сведений об угрозах. Преимущества технологии включают ускорение процессов принятия решений, сокращение человеческого фактора, улучшение точности и повышение эффективности реагирования на угрозы. ## Выводы Автор демонстрирует, что автомати

## Контекст Современное управление программным обеспечением сильно зависит от Infrastructure as Code (IaC), которая позволяет автоматизировать развертывание и управление инфраструктурой. Однако безопасность IaC-скриптов часто подвергается угрозам, которые могут привести к серьезным последствиям, как показывают примеры эксплойтов в облачных сервисах. Несмотря на то, что ранее был разработан тематический словарь, охватывающий семь ключевых проблем (seven sins) в IaC, эта работа имела ограниченный круг исследований и недостаточное автоматизированное обнаружение. Мотивация доклада заключается в расширении таксономии, автоматизации диагностики, а также в исследовании распространенности этих проблем в реальных проектах. ## Метод Для изучения IaC-безопасности был разработан подробный методологический подход. Исследование расширялось на семь популярных IaC-инструментов: Terraform, Ansible, Chef, Puppet, Pulumi, SaltStack и Vagrant. Также был внедрен автоматизированный анализ с помощью Large Language Model (LLM) для обнаружения и категоризации IaC-безопасности. Для всех найденных категорий проводился ручной реконсенсус с учетом стандартов безопасности. Эксперименты проводились на большом датасете скриптов IaC, чтобы обеспечить широковещательность и реалистичность результатов. ## Результаты Было выявлено 62 категории IaC-безопасности, значительно расширившее предыдущую таксономию. Авторы реализовали новые правила проверки безопасности для linters семи популярных IaC-инструментов, достигнув высокой точности (до 1.00). Анализ проектов на GitHub показал, что IaC-безопасность часто остается недостаточно обрабатываемой в ходе развития проектов, что обусловлено недостатком эффективных инструментов для детектирования и устранения проблем. ## Значимость Расширенная таксономия и автоматизированные инструменты могут применяться во многих областях, включая анализ безопасности систем, внедрение DevSecOps, а также обучение практикующим IaC-практикам. Это решение позволяет улучшить стабильность и безопасность инфраструктурных решений, а также обеспечивает возможность прогнозировать и профилактировать безопасностные уязвимости в IaC. ## Выводы Основные достижения исследования заключаются в расширении таксономии IaC-безопасности и внедрении автоматизированных методов для обнаружения и корректировки проблем. Будущие работы будут направлены на расширение анализа для дополнительных IaC-инструментов, улучшение автоматизированных инструментов, а также изучение динамики безопасностных проблем в развивающихся проектах.

## Контекст Infrastructure as Code (IaC) представляет собой методологию автоматизации развертывания и управления инфраструктурой IT с помощью скриптов и инструментов. Она позволяет упростить процесс развертывания программного обеспечения, гаранитируя его консистентность и повторяемость. Однако, существуют серьезные проблемы с безопасностью в IaC-скриптах. Ранее проведенные исследования показали, что многие IaC-скрипты содержат повторяющиеся конфигурационные ошибки, которые могут привести к серьезным атакам. Несмотря на то, что существуют множество методов для обнаружения и устранения этих ошибок, большинство из них основываются на статическом анализе, который часто не учитывает семантические свойства кода и естественного языка. Это включает в себя использование статистических кодовых представлений и машинного обучения. Наша работа посвящена разработке нового подхода к обнаружению этих ошибок, который улучшает статический анализ, используя семантическую информацию из естественного языка и кода. ## Метод Мы предлагаем метод, который объединяет статический анализ с помощью двух моделей машинного обучения: CodeBERT и LongFormer. CodeBERT используется для понимания семантики программного кода и естественного языка, тогда как LongFormer обеспечивает представление длинных IaC-скриптов с сохранением контекста. Наш подход представляет собой семантический анализ, который дополняет статический анализ стандартного кода. Мы также вводим подход для обнаружения сигнатур безопасности, который использует глубокое обучение, чтобы обнаруживать сигнатуры в обнаруженных ошибках. Для того чтобы проверить эффективность нашего подхода, мы использовали две выборки данных, содержащие ошибки в IaC-скриптах, связанных с Ansible и Puppet. ## Результаты Мы провели несколько экспериментов, чтобы проверить эффективность нашего подхода. Мы проводили анализ того, как наш метод работает на двух разных наборах данных, связанных с Ansible и Puppet. Мы также проводили исследования, в которых отключали естественный язык или сокращали контекст в IaC-скриптах, чтобы оценить вклад каждого компонента. Наша методика показала значительные улучшения в обнаружении ошибок в сравнении с существующими подходами. Например, на наборе данных Ansible, мы повысили точность (precision) и полноту (recall) с 0.46 и 0.79 до 0.92 и 0.88, соответственно. На наборе данных Puppet, точность и полнота улучшились с 0.55 и 0.97 до 0.87 и 0.75. ## Значимость Наш подход может быть применен в сфере безопасности IaC, чтобы обнаруживать и устранять безопасностные ошибки в IaC-скриптах. Он предлагает существенные пре