## Контекст Современное цифровое пространство сталкивается с возрастающим потоком цифровых искусств и изображений, создаваемых с помощью искусственного интеллекта (ИИ). Это приводит к усложнению проблемы верификации атрибуции изображений, особенно в условиях постоянного появления новых технологий и методов глубокого обучения. Основной задачей в этой области является защита авторских прав и привлечение уважения к творчеству дигитальных художников. Несмотря на то, что многие методы защиты изображений используют метаданные, эти методы часто оказываются эффективными только до момента их удаления. Защищенные с помощью цифровых водяных запечатлений изображения являются более надежными, но к ним также есть серьезные атаки, особенно в случае использования контентно-независимых водяных знаков, которые могут быть подделаны. Таким образом, нужна новая архитектура, обеспечивающая безопасность и аутентичность защищаемых изображений. ## Метод Методология представлена через разработку концепции **MetaSeal**, которая является новым типом содержания-зависимого водяного знака. Его основная идея заключается в том, что водяной знак не только защищает изображение, но и гарантирует формальное доказательство принадлежности создателю. Архитектура MetaSeal включает в себя несколько ключевых элементов: (1) **формирование скрытого водяного знака**, который встроен в изображение, используя специальные алгоритмы; (2) **хеширование и криптографическая защита**, чтобы предотвратить несанкционированное изменение или сброс атрибуции; (3) **алгоритмы верификации**, которые позволяют проверить целостность и авторство изображения без необходимости дополнительных метаданных. Эта архитектура гарантирует безопасность против различных форм атак, таких как сброс водяных знаков и подделка атрибуции. ## Результаты Для экспериментов были использованы обучающие данные, включающие естественные и генерируемые с помощью ИИ изображения. Метод MetaSeal был протестирован на ряде ключевых характеристик, таких как восприятие водяного знака, устойчивость к трансформациям (сжатие, масштабирование), и способность обнаружить подделку. Результаты показали, что MetaSeal достигает высокой устойчивости к различным атакам. Например, в сценарии подделки водяного знака детектор MetaSeal показал точность более 95%, что является значительным улучшением по сравнению с традиционными методами. Также проведены эксперименты на различных типах изображений, в том числе AI-генерируемых

## Контекст Безопасность информационных систем является важной задачей в современном цифровом мире. Одним из ключевых компонентов системы безопасности является Security Operations Center (SOC), который занимается мониторингом, детекцией и реагированием на инциденты в реальном времени. Тем не менее, SOCs сталкиваются с рядовыми проблемами, включая высокую интенсивность алертов, нехватку квалифицированных специалистов, высокую стоимость обслуживания, трудности в использовании угрозного интеллекту, а также проблемы с эффективностью совместной работы между людьми и системами. Алгоритмы машинного обучения и глубокого обучения уже применяются в SOCs для улучшения систем мониторинга, анализа атак и прогнозирования рисков. Однако с появлением Large Language Models (LLMs) появилась новая возможность, позволяющая автоматизировать и оптимизировать ряд задач, таких как анализ журналов событий, оптимизация triage-процессов и даже активное участие в принятии решений. Рассмотрение новых технологий для SOCs может существенно повлиять на эффективность и безопасность цифровых систем. ## Метод Large Language Models (LLMs) представляют собой модели глубокого обучения, которые могут обрабатывать и генерировать текст на человеческом уровне. Для их использования в SOCs необходимо разработать специальные архитектуры, которые могут решать задачи, связанные с безопасностью. Например, модели могут использоваться для анализа больших объемов логов, выявления аномалий, автоматизации реагирования на инциденты и генерации отчетов. Для этого необходимо применять специальные алгоритмы, такие как преобразования языка для моделирования логов, методы обучения с подкреплением для оптимизации действий и методы глубокого обучения для классификации и предсказания. Также важно разрабатывать методы для интеграции LLMs с другими системами безопасности, включая SIEM-системы (Security Information and Event Management) и SOAR (Security Orchestration, Automation, and Response). ## Результаты Исследование включает в себя эксперименты с использованием различных LLMs, таких как GPT-3, для анализа и генерирования текста в различных сценариях SOC. Были проведены эксперименты по обучению модели для анализа логов, выявления аномалий и реагирования на инциденты. Также, были проведены эксперименты по оптимизации triage-процессов с использованием LLMs. Результаты показали, что LLMs могут существенно сократить время, необходимое для анализа и реагирования на инциденты, а также повысить точность детекции. Были также проведены эксперименты по сравнению LLMs с другими существующими алгоритмами, включая rule-based и machine learning-based, что подтвердило высокую эффективность LLMs. ## Значи

## Контекст Deep learning (DL) compilers являются ключевой частью современных DL-систем, обеспечивая гибкость и масштабируемость, которые недоступны в производственных библиотеках. Однако наличие этих преимуществ не означает абсолютной безопасности. Основной вопрос, вызывающий нашу интересу, заключается в следующем: могут ли стандартные DL-компиляторы, даже не измененные вручную, изменять семантику модели во время компиляции и внедрять незаметные запускатели бекдоров? Эта проблема обнаруживается как в адверсарном, так и в натуральном контексте, причем в первом случае существуют явные риски, в том числе внедрение запускателей заранее невидимых бекдоров, а во втором – возможность неявного внедрения такого поведения без явной потери качества. Это открывает новую площадку для изучения безопасности в DL-системах. ## Метод Мы разработали методику, которая позволяет тестировать ситуации, когда оригинальная модель не содержит бекдоров, но после компиляции возникает новое поведение, которое может быть использовано в качестве запускателя бекдора. Мы использовали современные DL-компиляторы, такие как TensorFlow, PyTorch и TVM, а также проверили результаты на двух различных аппаратных платформах – NVIDIA GPU и ARM CPU. Для естественного контекста, мы проанализировали 100 моделей с HuggingFace, в том числе одну модель с более чем 220 миллионами скачиваний. Мы измеряли не только эффективность запускателя, но и возможность его обнаружения с помощью текущих системы обнаружения запускателей бекдоров. ## Результаты Наши эксперименты показали, что 6 моделей, компилированных с помощью трех различных стандартных DL-компиляторов, подвергаются успешной атаке, в то время как атака не влияла на общую точность модели или ее стабильность. Мы также обнаружили, что в 31 моделях, проанализированных с HuggingFace, присутствовали естественные запускатели бекдоров, которые могут быть использованы даже без преднамеренных попыток внедрения запускателей. Это включает модель с огромной популярностью (220 миллионов скачиваний). Мы также проверили, что атаки не зависят от аппаратной платформы и даже формата чисел с плавающей точкой, что делает ее универсальной. ## Значимость Наши результаты показывают, что уязвимость DL-компиляторов может быть использована для внедрения незаметных бекдоров в модели, даже если атака не преднамеренна. Это открывает новую зону риска для безопасности в DL-системах. Мы также показали, что текущие способы обнаружения таких уязвимостей не всегда эффективны. Наше исследование открывает путь для разработки более безопасных и надежных ме

## Контекст Для Web3-приложений необходимы инфраструктуры, обеспечивающие конфиденциальность и целостность данных без полагания на централизованные доверенные организации. Хотя Технологии Доверенного Выполнения (TEE) обладают выдающимися возможностями для конфиденциального вычисления, их попытки применить в контексте Web3 сталкиваются с проблемами, включая недостаточную надежность безопасности, невыносимую зависимость от поставщиков и недостаточную устойчивость к запретам. Наше исследование рассматривает эти проблемы и предлагает комплексное решение, превращая существующие TEE в полностью безопасные и надежные платформы. ## Метод Мы предлагаем **dstack**, многоуровневый фреймворк, который преобразует существующие TEE в гарантированно безопасные среды выполнения. Для этого разработаны три основных инновации: (1) **Portable Confidential Containers**, позволяющие переносить рабочие нагрузки между различными TEE-средами, сохраняя защиту данных, (2) **Decentralized Code Management**, основанный на технологии блокчейн и смарт-контрактов для прозрачного управления приложениями, и (3) **Verifiable Domain Management**, обеспечивающий уникальную идентификацию приложений без зависимости от централизованных систем. Данные инновации реализованы через три составляющих: **dstack-OS**, **dstack-KMS** и **dstack-Gateway**, которые объединяют преимущества VM-уровня TEE и уверенности в доверительности, необходимой для Web3. ## Результаты Мы провели первый эксперимент, сравнивающий dstack с существующими решениями. Были использованы данные из различных TEE-реализаций, включая Intel SGX и AMD SEV. Наши результаты показали, что dstack обеспечивает значительно более высокую надежность безопасности и удобство использования по сравнению с конкурентами, в то время как стоимость времени выполнения и ресурсоемкость остаются в пределах приемлемых значений для реальных приложений Web3. ## Значимость dstack может применяться в различных сценариях Web3, включая децентрализованные финансы (DeFi), игры, аукционы и другие приложения, требующие гарантированной конфиденциальности. Его преимущества заключаются в полной безопасности, легкомыслии в отношении поставщиков технологий, и исключении возможности централизованного контроля. Это может способствовать ускорению развития Web3, уменьшить риски атак и усовершенствовать уровень доверия пользователей к системам. ## Выводы Мы показали, что dstack — это первый в своем роде полностью безопасный фреймворк для конфиденциальных приложений Web3. Наши результаты открывают новые возможности для развития безопасных и централизованно независимых Web3-приложений. Мы планируем про

## Контекст Federated Learning (FL) является важной практикой в области учёта приватности данных, позволяющей обучать модели машинного обучения на распределённых данных, без прямого доступа к этим данным. Однако FL не является безусловно безопасным. Эксперименты показали, что непосредственное взаимодействие между клиентом и сервером может привести к нежелательным результатам, включая угрозу целостности локальных моделей клиента. Одна из особенностей этого риска - принудительное создание целевых моделей, которые могут нарушать конфиденциальность данных. Данная работа посвящена изучению ситуаций, в которых манипуляции с процессом синтеза моделей могут привести к целевому переобучению. Наша мотивация в том, чтобы разработать методы, позволяющие клиентам диагностировать и обнаруживать целевые модели на ранней стадии, чтобы предотвратить передачу любых конфиденциальных данных. ## Метод Мы предлагаем многомерный подход к обнаружению целевых моделей в FL. Методы включают: (a) **label flipping** — отрицательная метка искажается, чтобы выявить влияние на общую модель; (b) **backdoor trigger injection** — специальные триггеры внедряются в локальные данные для отслеживания влияния на общую модель; (c) **model fingerprinting** — модели сравниваются с исходной версией, чтобы выявить незначительные сдвиги, которые могут указывать на целевые модели. Эти методы используют статистические меры для определения подозрительных изменений в модели, обнаруживая целевые модели в защищённом FL-контексте. ## Результаты Мы провели эксперименты на нескольких датасетах, в том числе MNIST, CIFAR-10 и FEMNIST, используя различные сценарии атак. Мы обнаружили, что три метода — label flipping, backdoor trigger injection и model fingerprinting — демонстрируют неплохую точность в обнаружении целевых моделей. Однако они отличаются по своим вычислительным затратам, задержке обнаружения и показателям false-positive. Метод label flipping имеет высокую скорость обнаружения, но с более высоким риском false-positive. Метод backdoor trigger injection обеспечивает лучшую точность, но с большей задержкой обнаружения. Model fingerprinting демонстрирует высокую точность и низкий false-positive, но имеет более высокие вычислительные затраты. ## Значимость Методы, предложенные в данной работе, могут быть применены для обнаружения целевых моделей не только в FL, но и в других контекстах, где конфиденциальность локальных данных является критичной. Такие методы могут помочь уменьшить риск информационного утечки в системах, где локальные модели используются для обучения в облачных средах. Также, наши результаты показывают, что раннее обнаружение целевых моделей может существенно уменьшить потери, связанные с тем, что модель будет использоваться для неж

## Контекст Large Language Models (LLM) возникли как мощный инструмент для широкого круга задач, от анализа текста до генерирования контента. Однако с ростом их применения возникла необходимость в механизмах защиты авторских прав и контроля за использованием генерируемого контента. Один из таких механизмов — watermarking, который внедряет в текст специальные сигналы для идентификации источника. Хотя эти механизмы полезны, они особенно уязвимыми для попыток их обойти, в частности, при помощи различных атак на генерируемый текст. В этом контексте возникает вопрос о силе и эффективности текущих методов защиты, а также о потенциальных угрозах, связанных с их обходом. ## Метод Мы проводим подробный анализ уязвимостей LLM watermarking, опираясь на формализацию системного моделирования. Исследуются различные типы пертурбаций текста, включая типовую ошибку, синонимизацию, деление слов, замену букв на гомоглифы и другие. Затем мы рассматриваем широту воздействия этих пертурбаций — то есть, насколько одна модификация может повлиять на множество токенов. Отдельное внимание уделяется характеристике запросов к детектору watermarking — ограниченного количества или черного ящика. Методология включает в себя научное экспериментальное исследование, включающее различные наборы данных и модели LLMs. Основной метод — Genetic Algorithm (GA), который оптимизирует атаки с использованием детектора watermarking в качестве функции подсчета. ## Результаты Проведенные эксперименты показали, что character-level perturbations (например, типовую ошибку, синонимизацию и т.д.) значительно эффективнее, чем другие атаки, на уровне токенов. Они могут влиять на несколько токенов одновременно, что делает их идеальными для разрушения watermarking. Метод GA показал себя как сильный инструмент для адаптивной атаки. В зоне ограниченных запросов к детектору, наши атаки продемонстрировали высокую эффективность, значительно превосходя другие подходы. Наши результаты также показали, что любая фиксированная защита может быть обойдена с помощью адаптивной стратегии, подтверждая значительную уязвимость существующих систем. ## Значимость Наши результаты имеют большое значение для развития технологий защиты авторских прав в контексте машинного обучения. Они открывают возможность для новых подходов к обходу watermarking, особенно в условиях ограниченного доступа к модели. Эти находки могут быть использованы для развития более стабильных и эффективных методов защиты контента. Также, наша работа открывает новые направления для исследований в области атак на генерируемый текст, в том числе дальнейших исс

#### Контекст Split Learning (SL) — это распределенный метод обучения, который позволяет ресурсо-ограниченным клиентам совместно обучать модели глубоких нейронных сетей (DNN), передавая на сервер большую часть слоев, а оставшуюся часть (входные и выходные слои) оставляя на клиентском устройстве. Этот подход позволяет использовать вычислительные мощности сервера без разглашения данных, что делает SL особенно эффективным в средах с ограниченными ресурсами, где данные являются секретными. Однако распределенная природа SL делает его уязвимым перед атаками клиентов, которые могут инжектировать токсичные intermediate gradients, что приводит к внедрению backdoors в общую модель. Дефензы SL, существующие на сегодняшний день, ограничиваются внутренним защитой сервера и не гарантируют безопасности клиентов. #### Метод Мы предлагаем ZORRO — Zero-Knowledge Robustness and Privacy для Split Learning. ZORRO является частично централизованной системой, в которой клиенты обучают модели с использованием zero-knowledge proofs (ZKPs) для того, чтобы доказать интегритность своего локального обучения. ZORRO включает в себя новоструктурированный подход к решению проблемы токсичности intermediate gradients. Мы визуализируем intermediate results с помощью градиентной представления в фазовой сфере и применяем технологии ZKPs для верификации того, что обновленный локальный модельный чекпойнт является безопасным и не содержит backdoors. #### Результаты Мы провести ряд экспериментов, включая различные модели, такие как ResNet, и различные атаки, такие как backdoor и poisoning. В результате, ZORRO существенно снижает успешность атак, до 6%, при этом быстродействие теряется всего на 10 секунд для моделей с миллионом параметров. Это показывает, что ZORRO эффективно обеспечивает безопасность клиентов, не приводя к существенному замедлению тренировки. #### Значимость ZORRO может быть применено в ситуациях, где клиенты не доверяют друг другу, но все же нуждаются в обучении моделей вместе. Он привносит новый уровень прозрачности в обучение, доказывая безопасность и интегритность клиентских моделей. ZORRO широко применим в таких областях, как секретное обучение, медицинские изображения, и другие секретные задачи, где защита данных ключевая. #### Выводы ZORRO доказывает, что можно обеспечить безопасность и интегритность в распределенном обучении без дополнительного грузинга сервера. Дальнейшие исследования будут ориентированы на улучшение ZKPs для более сложных моделей и расширение ZORRO для ситуаций, когда клиенты имеют разные модели.

#### Контекст Смарт-контракты — это автоматизированные программы, которые управляют высокоценными активами, и их неправильная реализация может привести к катастрофическим финансовым потерям. Эта сложность усиливается при использовании больших языковых моделей (LLMs), которые часто действуют как "черные ящики", не позволяя проанализировать их работу. Эти модели часто генерируют код с критическими уязвимостями, которые могут быть использованы злоумышленниками. Данная проблема мотивирует разработку новых методов, которые обеспечат безопасность и понятность смарт-контрактов. #### Метод Мы предлагаем фреймворк SmartCoder-R1, основанный на Qwen2.5-Coder-7B, для смарт-контрактов. Фреймворк включает три основные этапы. В первом этапе проводится **Continual Pre-training (CPT)**, направленный на усовершенствование модели для генерации кода. Затем используется **Long Chain-of-Thought Supervised Fine-Tuning (L-CoT SFT)** на основе 7,998 проверенных экспертом примеров рассуждений и кода для обучения модели выполнять безопасный код. На последнем этапе применяется **Security-Aware Group Relative Policy Optimization (S-GRPO)**, чтобы оптимизировать генерацию кода, учитывая безопасность, компиляцию и формат. #### Результаты На тестировании на 756 реальных функциях SmartCoder-R1 демонстрирует лучшие результаты по 5 ключевым показателям: ComPass (87.70%), VulRate (8.60%), SafeAval (80.16%), FuncRate (53.84%) и FullRate (50.53%). Наиболее критический FullRate показывает увеличение в 45.79% по сравнению с самым близким конкурентом. Более того, экспертные оценки показали высокое качество генерируемого кода в трех аспектах: функциональности (82.7%), безопасности (85.3%) и понятности (90.7%). #### Значимость Предложенный подход может быть применен в различных сферах, где требуется генерация безопасного и понятного кода, таких как финансовые системы, сети блокчейнов, и другие приложения, требующие высокой безопасности. Важность SmartCoder-R1 также заключается в том, что он обеспечивает прозрачный процесс рассуждений, что делает его более надежным и доступным для аудита и модификации. #### Выводы Результаты SmartCoder-R1 продемонстрировали высокую эффективность в решении проблем безопасности и понятности в генерации кода смарт-контрактов. Будущие исследования будут направлены на улучшение подхода, включая расширение обучающих данных, применение адаптивных методов оптимизации и исследование кросс-платформенной совместимости.

## Контекст Large Language Models (LLMs), такие как GPT-4, могут значительно облегчить процесс генерации прошивок для устройств с микроконтроллерами, таких как FreeRTOS. Однако, несмотря на высокую степень автоматизации, они часто пропускают критические уязвимости и не соответствуют функциональным требованиям, таким как минимальные временные задержки. Это приводит к риску внедрения потенциально вредоносных кодав в системы, которые могут быть использованы для угроз безопасности. Недостаток интегрированных методов для моделирования времени выполнения и анализа возможных уязвимостей делает такие системы неудовлетворительными для использования в критичных приложениях, таких как технологии беспилотных систем и системы управления производством. Таким образом, имеется потребность в разработке методологии, которая не только сможет генерировать прошивки, но и автоматически проверять их на наличие уязвимостей, а также улучшать их до нужного уровня безопасности. ## Метод Метод, предлагаемый в работе, включает в себя три этапа: 1) генерация прошивки с использованием LLMs в виртуальной среде, 2) автоматическая проверка безопасности и 3) итеративное улучшение прошивки. Для генерации прошивки авторы используют структурированные запросы (промпты), которые позволяют LLMs генерировать код для задач в области сетевого взаимодействия и управления FreeRTOS. Этот процесс включает в себя не только генерацию кода, но и выполнение функции в симуляторе QEMU. Для проверки безопасности были использованы методы, такие как fuzzing, static analysis и runtime monitoring. Чтобы улучшать безопасность, авторы использовали нейросетевые модели, которые могут анализировать возможные угрозы, оптимизировать производительность и проверять соответствие стандартам. Уязвимости, выявленные в процессе, относят к стандартному справочнику CWE (Common Weakness Enumeration) и используются для стимулирования LLM-программы, которая генерирует патчи для устранения данных уязвимостей. ## Результаты В ходе экспериментов была проведена ряд тестов, включая fuzzing, static analysis и runtime monitoring. Было выявлено, что LLM-based methodology позволяет значительно улучшить безопасность прошивок, снизив количество уязвимостей на 92.4% (с 37.3% до 0.87). Также была достигнута 95.8% соответствия требованиям threat model. Отметим, что лучший результат был получен при использовании GPT-4, который показал значительное улучшение уровня безопасности и производительности. Была также проверена реакция FreeRTOS на внедренные уязвимости, и были получены результаты в рамках требуемых показателей реактивности. ## Значимость Методология, предложенная в ра

## Контекст В последние годы широко распространено использование больших языковых моделей (LLMs) для выполнения различных задач, включая генерацию текста, ответы на вопросы и анализ текста. Однако применение этих моделей подвергает предметные зоны необходимости в защите конфиденциальных данных, введя новые вызовы в области информационной безопасности. Наиболее важными проблемами являются повышенное рискованность информации, передаваемой при выполнении моделей, и необходимость обеспечения конфиденциальности пользовательских данных. Общественные организации и бизнес-компании ищут решения для этих проблем, которые должны обеспечить как эффективность, так и конфиденциальность. ## Метод Для решения этих проблем авторы предлагают CMIF — Confidential and Efficient Model Inference Framework. Основная идея CMIF заключается в разделении LLM-моделей на два части: менее требовательные к обработке защищенные данные обрабатываются в локальной трейтных исполнительных средах (TEE) на клиентских устройствах, а более сложные, нетривиальные задачи отправляются на GPU-серверы. Это позволяет снизить нагрузку на TEE, уменьшить задержки и обеспечить эффективное использование ресурсов. Для защиты конфиденциальности вводится модификация механизма Report-Noisy-Max, которая применяет отрицательный шум к выборке, чтобы защитить данные при минимальном влиянии на качество и понятность ответа языковой модели. ## Результаты В работе проводились обширные эксперименты с LLMs-моделями, включая Llama-series. Результаты показали, что CMIF удалось значительно снизить задержки информации в TEE, снизив нагрузку на него без потери качества работы модели. Также была продемонстрирована эффективность модифицированного механизма Report-Noisy-Max. Он уменьшил риск вытекания конфиденциальной информации в значительной степени, при этом влияние на качество модели было незначительно. Эти результаты подтверждают, что CMIF может эффективно сочетать конфиденциальность и эффективность в работе языковых моделей. ## Значимость Решение CMIF может быть применено в различных областях, где требуется обеспечение конфиденциальности данных, таких как онлайн-обучение, медицинская информатика, финансы и юриспруденция. Оно предоставляет несколько преимуществ, включая уменьшение задержек, эффективное использование ресурсов и увеличение безопасности. Его применение может способствовать развитию конфиденциальной интеллектуальной сети, которая будет обеспечивать защиту конфиденциальности пользователей и эффективность в выполнении задач. ## Выводы CMIF представляет собой прорыв в области защиты конфиденциально