## Контекст Федеративное обучение моделей языка (Federated Fine-Tuning, FF) становится важной парадигмой для развития настраиваемых моделей языкового понимания на периферийных устройствах. Однако в этой среде обучения существуют значительные проблемы с безопасностью и конфиденциальностью, особенно когда работа производится с пользовательскими данными, которые могут быть утекшими или злоупотребляемыми. Для решения этих проблем необходимо построить концептуально новое подходное решение, которое обеспечит эффективность, безопасность и приватность в федеративном обучении моделей языка. Такое подходное решение может стать ключевым элементом для успешного интегрирования моделей языка в область применений на периферийных устройствах. ## Метод Мы предлагаем DP-FedLoRA, который является новым фреймворком для федеративного обучения моделей языка с добавлением приватности. Основной идеей является использование локального укрупнения градиентов и метода LoRA для модификации локальных моделей. Это позволяет быстро улучшать модели на устройствах, уменьшая влияние централизованного обучения. Мы также используем методы, основанные на дифференциальной приватности, чтобы обеспечить защиту от утечек информации. Таким образом, предлагаемый подход позволяет обучать модели языка на устройствах, сохраняя при этом конфиденциальность пользовательских данных. ## Результаты Мы проводили ряд экспериментов, используя различные бенчмарки, включая текстовые распознавание и генерацию. Результаты показывают, что DP-FedLoRA выдает результаты, которые сопоставимы с традиционным обучением моделей, но с значительно более высокой приватностью. Мы также проводили эксперименты с различным числом клиентов и различными настройками гиперпараметров, подтвердив гибкость и эффективность нашего подхода. Эти результаты показывают, что мы можем построить модели языка, которые имеют высокую производительность и при этом сохраняют конфиденциальность данных пользователей. ## Значимость Предлагаемый подход имеет большое значение для сферы применений в области мобильных устройств, где необходимо быстро и эффективно выполнять вычисления, при этом не нарушая конфиденциальности пользователей. DP-FedLoRA может быть применен в сферах, таких как здравоохранение, финансы и мобильные приложения. Он предоставляет преимущества в виде улучшенной конфиденциальности, более быстрого расчета и эффективности в использовании ресурсов. Этот подход может стать ключевым в широком распространении моделей языка на периферийных устройствах, таких как смартфоны и IoT-устройства. ## Вывод

## Контекст В будущем, когда языковые модели (LLM) будут широко применяться, вопрос их авторского права и защиты от несанкционированного использования станет актуальным. Одним из подходов к решению этой проблемы является watermarking, то есть внедрение в токенизированный текст заранее определенных признаков. Токенизированный текст, содержащий эти признаки, может быть впоследствии идентифицирован как продукт данной модели. Однако есть несколько проблем с этим подходом. Во-первых, возможность идентификации модели не должна влиять на качество текста, который она генерирует. Во-вторых, нужно предотвратить возможность удаления watermark-a. ## Метод Статья предлагает комплексный подход к тестированию и уязвимости watermark-а. Отечественные и зарубежные исследователи разработали модель системы watermark-a, которая учитывает два реалистичных типа угроз: 1) угроза, при которой у атакующего есть ограниченный доступ к детектору watermark-a, 2) угроза, при которой атакующий может получить только ограниченное количество запросов к детектору в режиме black-box. Далее, исследователи рассмотрели различные типы кандидатных уязвимостей, в том числе и character-level perturbations, которые, в частности, могут внести изменения не только в отдельные слова, но и во всю структуру текста. ## Результаты Исследователи провели эксперименты, подтвердив, что character-level perturbations (например, типы опечаток, синонимы, удаление символов и т.д.) являются наиболее эффективными для удаления watermark-a. Они также проанализировали атаки, основанные на Genetic Algorithm (GA), и сравнили их результаты с другими методами. Эксперименты показали, что character-level perturbations позволяют справиться с задачей удаления watermark-a в самых ограниченных условиях. ## Значимость Полученные результаты имеют практическое значение для разработчиков watermark-a, поскольку показывают слабости существующих систем. Например, они могут быть использованы для разработки более прочных методов защиты. Эти находки также могут быть полезны для разработчиков методов токенизации и для тех, кто работает над системами защиты от несанкционированного использования контента. ## Выводы В целом, статья показывает, что character-level perturbations являются эффективными для удаления watermark-a и могут применяться в том числе и в самых ограниченных условиях. В дальнейшем необходимо развить новые методы защиты watermark-a, чтобы предотвратить эти уязвимости.

## Контекст Сегодняшний мир машинного обучения стал востребованным во всех сферах жизнедеятельности, но существует одна ключевая проблема: обеспечение приватности данных при их использовании в моделях машинного обучения. Безопасная инференция (secure inference) — это метод, который позволяет защитить конфиденциальные данные, используя криптографические протоколы. Несмотря на его потенциал, существуют серьезные проблемы в интеграции таких протоколов с большими лингвистическими моделями (LLM, Large Language Models), такими как громоздкость протоколов, высокая сложность интеграции и ограничения на практическое применение. Эти технологии требуют новых подходов, которые смогут объединить эффективность, безопасность и удобство для пользователей. ## Метод Мы предлагаем ENSI — новую неинтерактивную систему безопасной инференции для LLMs, основанную на концепции кодирования и архитектурного проектирования. ENSI сочетает в себе оптимизированную схему шифрования (CKKS) и новую, легковесную модель BitNet. Мы также предлагаем интеграцию нового механизма — сигмоидного аттенционирования — вместо традиционного softmax, что позволяет избавиться от сложности шифрования в хомоморфной схеме. Наконец, Bootstrapping-операции, необходимые для обновления шифрованных данных, были встроены в процесс RMSNorm, чтобы уменьшить частоту дорогостоящих процедур. ## Результаты Мы провели эксперименты с ENSI, используя широкий набор данных для LLMs. Наши результаты показали, что ENSI ускоряет процесс матричных множения в 8 раз и снижает время выполнения softmax на 2.6 раз по сравнению с текущими лучшими решениями. Более того, частота затратных операций, такой как Bootstrapping, была снижена до 1%, что значительно улучшает практическую точность и эффективность системы. ## Значимость Помимо LLMs, ENSI может быть применен в различных областях, где требуется защита конфиденциальных данных, таких как финансы, здравоохранение и юридические сервисы. Одним из основных преимуществ является его высокая эффективность, которая обеспечивает быстрое и безопасное выполнение моделей. Это открывает возможность для широкого применения безопасной инференции в сложных ситуациях, где ранее она была неприложимой из-за высокой затраты ресурсов. ## Выводы ENSI достигает значительных улучшений относительно существующих методов в области безопасной инференции для LLMs. Наши выводы подтверждают, что этот подход может стать ключевым для развития приватных и эффективных моделей машинного обучения. Мы также планируем продолжить работу над оптимизацией протоколов и улучшением интеграции архитект

## Контекст Diffusion models являются перспективным направлением в искусственном интеллекте, особенно в области генерации изображений по текстовым подсказкам. Эти модели способны генерировать высококачественные изображения, тщательно соответствующие заданному текстовому описанию. Однако эти технологии также вызывают новые безопасностные заботы, в частности, вопрос о защите интеллектуальной собственности и конфиденциальности текстовых подсказок, используемых в генерации изображений. В статье "Prompt Pirates Need a Map: Stealing Seeds helps Stealing Prompts" авторы раскрывают угрозу, связанную с мошенническим использованием текстовых подсказок. Они показывают, что злоумышленники могут воспользоваться ошибками в разработке таких моделей, чтобы извлечь текстовые подсказки, использованные для создания конкретных изображений. Это делает системы распознавания и генерации текстово-ориентированных изображений уязвимыми перед тем, как пользователи могут тщательно использовать их для защиты своих данных. ## Метод Авторы приняли решение использовать методы тестирования системы для изучения уязвимости. Они обнаружили, что ошибка в обработке случайного шума при генерации изображений делает возможным взлом текстовых подсказок. Используя это, они разработали метод, основанный на генетических алгоритмах, который эффективно восстанавливает текстовые подсказки. Этот подход использовался для проверки уязвимости на реальных данных, полученных с популярных платформ. ## Результаты Команда проводила большую эмпирическую исследовательскую работу, которая позволила установить, что более 95% текстовых подсказок могут быть восстановлены за 140 минут. Этот результат подтверждает эффективность использованного метода. Был создан инструмент SeedSnitch, который помогает извлекать текстовые подсказки. Основной метод PromptPirate, основанный на генетических алгоритмах, показал себя эффективнее, чем существующие методы, повысив точность восстановления на 8-11%. ## Значимость Результаты исследования имеют большое значение для развития безопасных текстовых генерационных систем. Они могут применяться в разработке защитных методов для предотвращения несанкционированного доступа к текстовым подсказкам. Также, исследование показывает, что модели могут быть значительно улучшены с помощью новых безопасных технологий, которые могут снизить риск текстового взлома. ## Выводы В целом, исследование демонстрирует необходимость в разработке новых методов защиты текстовых подсказок в текстовы

#### Контекст В современных транспортных системах, обеспечение безопасности ветвей Интернета вещей (IoT), включая Software-Defined Internet of Vehicles (SD-IoV), является критически важной задачей. Одной из наиболее распространенных угроз в этой области является TCP SYN flood attack, который может привести к нарушению доступности сети и задержкам в обмене данными. Уязвимость SD-IoV сети растет в условиях высокой мобильности и многоуровневой архитектуры. Оптимальное обнаружение таких атак требует высокой точности и минимального времени, чтобы обеспечить безопасность и эффективность взаимодействия. #### Метод Для обнаружения TCP SYN flood attack в SD-IoV использовалась стратифицированная K-Fold cross-validation с Random Forest Classifier. Эта методика обеспечивает комплексную оценку модели на разных подмножествах данных, что позволяет избежать переобучения и повысить целостность эксперимента. Данные были предварительно обработаны с помощью feature scaling и label encoding для повышения точности классификации. Модель была тщательно оптимизирована с учетом количества эстиматов (20) и максимальной глубины дерева (10), что позволило достичь максимальной точности с минимальным временем обнаружения. #### Результаты Проведенные эксперименты показали высокую эффективность Random Forest Classifier в обнаружении SYN DoS атак. Модель достигла следующих результатов: 99.9998% точности и 0.24 секунд на обнаружение атаки. Эти показатели достигнуты благодаря точной настройке параметров модели и использованию Stratified K-Fold cross-validation. Основным достижением является то, что модель эффективно отличает нормальный трафик от атак, обеспечивая минимальные задержки и повышая реакцию систем на вторжения. #### Значимость Результаты имеют значительное значение для безопасности SD-IoV, так как модель может быть применена для реального времени, обеспечивая быстрое и точное обнаружение атак. Данный подход может быть применен в различных сценариях, включая системы дорожного трафика, системы безопасности транспорта и системы мониторинга ветвей IoT. Он предоставляет дополнительный уровень защиты для SD-IoV, уменьшая риски нарушения сетевой эффективности и обеспечивая надежность систем. #### Выводы Результаты исследования показывают, что Random Forest Classifier с Stratified K-Fold cross-validation является эффективным методом для обнаружения TCP SYN flood attack в SD-IoV. Данный подход достиг высокой точности и минимального времени обнаружения, что делает его применимым в реальных сетях. Будущие исследования будут ориентированы на расширение модели для обнаружения других видов атак и оптимизацию ее на более крупных данных.

## Контекст Retrieval-Augmented Generation (RAG) — это мощная архитектура, которая объединяет генерирующую модель с внешними базами данных, чтобы уменьшить "халтуринг" (hallucinations) в ответах. Она найдена в большинстве современных приложений, таких как системы вопроса-ответа, где необходимо обратиться к широкой информационной базе. Однако эта модель также вводит новые риски, особенно для обработки конфиденциальных данных. Например, RAG может раскрыть, была ли конкретная запись включена в сводку, что создает риск дыры в защите личных данных. Многие методы подхода Membership Inference Attack (MIA) стараются выявить такие дыры, но часто сталкиваются с тем, что результаты могут быть повлияны не только найденными документами, но и недостающими. Наша команда разработала **DCMI** (Differential Calibration Membership Inference Attack), чтобы более точно определять, были ли документы включены в вывод RAG. ## Метод DCMI использует **метод дифференциальной калибровки**, чтобы различать ответы RAG относительно документов, которые были включены в вывод в отношении запроса. Чтобы сделать это, мы используем **перерисовку запроса** (query perturbation), которая меняет запрос с минимальным изменением смысла, но с большим воздействием на нейросетевую модель. Эти перерисованные запросы помогают нам определить, насколько сильно ответы RAG зависят от отдельных документов. Мы также анализируем **пространство вариаций** между ответами на документы-участников (members) и неучастников (non-members), чтобы выделить сильные сигналы, связанные с включенными документами. DCMI работает так, чтобы исключить значительный шум, который мог быть вызван невинными документами, которые не были включены в вывод. ## Результаты Мы провели эксперименты на двух уровнях — симуляционных и реальных системах RAG. В первых, мы использовали Flan-T5 в качестве модели RAG и синтетические данные для эмуляции различных уровней включения документов. Результаты показали, что DCMI опередила базовый метод MBA (Maximum Calibration MIA) над уровнем доверия, повысив AUC (Area Under Curve) до **97.42%** и достигнув **94.35%** точности с значительным увеличением (плюс 40%) по сравнению с лучшим базовым решением. Мы также протестировали DCMI на **Dify** и **MaxKB** — двух реальных платформах RAG. Там, DCMI показала выигрыш в **10%-20%** по сравнению с MBA, что подтверждает эффективность нашего подхода в реальных условиях. ## Значимость Наша работа открывает новые возможности для изучения проблемы защиты конфиденциальности в RAG-системах. Особенно важно, что DCMI не только демонстрирует эффективность в синтетических условиях, но и показывает выигрыш в реальных платформах. Это значит, что наш подход может быть применен

## Контекст Хотя блокчейн и смарт-контракты обеспечили создание децентрализованного и безотносительного цифрового пространства, удалив необходимость в традиционных централизованных аутентификационных системах, их высокая сложность создает существенные препятствия для неквалифицированных пользователей. Это открывает пространство для использования Artificial Intelligence (AI)–based agents, которые могут помочь в использовании blockchain-систем для выполнения различных задач, таких как анализ данных из блокчейна, оптимизация транзакций и детектирование уязвимостей в смарт-контрактах. Тем не менее, есть небольшое количество исследований, специализирующихся на сочетании AI и blockchain, в том числе с фокусом на вопросы безопасности и конфиденциальности. Эта статья предлагает первую Systematization of Knowledge (SoK), посвященную AI-driven системам в blockchain, с уделением особого внимания их безопасности и конфиденциальности. ## Метод Исследование основывается на широком анализе существующих исследований, технических решений и методологий, которые используют AI для работы с blockchain. Особое внимание уделяется критическому анализу систем безопасности и конфиденциальности, а также их возможностям. Методология включает в себя процесс группирования и классификации работ по тематическим категориям, таким как аутентификация, шифрование и анализ данных. Для полноты, литературный обзор сосредотачивается на широком спектре источников, включая глубокий анализ научных статей, докладов и патентов. Наконец, результаты и деконструкция архитектурных решений помогают выявить основные тренды, риски и возможности в этой области. ## Результаты Изучение современных AI-driven систем показало, что они могут обеспечивать безопасное взаимодействие с blockchain-системами, но также наличие серьезных ограничений. Например, данные блокчейна могут быть доступны для анализа, но существуют риски, связанные с утечкой конфиденциальности или недостаточной защитой данных. Были рассмотрены примеры, в которых AI-системы успешно оптимизировали стратегии транзакций и повысили безопасность смарт-контрактов. Однако, эти результаты были достигнуты с помощью компромиссов в сфере производительности или расходов на ресурсы, что подчеркивает необходимость более рациональных решений. ## Значимость AI-driven системы могут значительно упростить интеракцию с блокчейн-системами, особенно для неспециалистов, а также улучшить безопасность и эффективность операций. Они имеют потенциал для применения в различных областях, таких как финансы, страхование и логистика. Однако, существуют риски, связанные с

## Контекст AI-системы, перейдя из лабораторных условий в эксплуатационные, требуют высококачественных тестовых сред для эффективного тестирования и адаптации. Несмотря на прогрессы в AI, эти системы часто сталкиваются с проблемами при переходе в реальность из-за отсутствия реалистичных тестовых условий. Это влечет за собой потери эффективности, возможные опасности и затруднения в интеграции в рабочие процессы. "Cyber Arenas" — это инновационный подход, предоставляющий гибкость в тестировании AI-систем в условиях, похожих на реальность. Они позволяют экспериментировать с различными сценариями, в том числе с реакцией пользователей и настройкой AI-систем в реальном времени. Такие среды могут существенно повысить эффективность и надёжность AI-систем в сложных реальных ситуациях. ## Метод Cyber Arenas являются интерактивными средами, сочетающими аналитические модели, технологии симуляторов и цифровые платформы для моделирования событий в реальном времени. Их архитектура включает в себя несколько ключевых компонентов: 1. **Реальность симуляции**: Использование высокопроизводительных симуляторов для моделирования данных, поведения и ситуаций. 2. **Интерактивность**: Возможность пользователей взаимодействовать с системами в реальном времени, чтобы оценивать их работу в различных условиях. 3. **Эволюционные модели**: Интеграция методов машинного обучения, позволяющих AI-системам адаптироваться к изменениям в условиях и поведении пользователей. Эти компоненты объединены в одну систему, которая может быстро адаптироваться к новым сценариям и потребностям. ## Результаты В результате применения Cyber Arenas во время национальной гвардии были достигнуты следующие результаты: - **Повышение эффективности**: Было установлено, что AI-системы, протестированные в Cyber Arenas, показали значительное повышение точности и отзывчивости в сравнении с традиционными методами. - **Воспроизводимость**: Данные, собранные в Cyber Arenas, позволяют повторять эксперименты и анализировать результаты с большей точностью. - **Интеграция**: Эти среды позволили быстро интегрировать новые модели AI, соответствующие потребностям в реальной ситуации. Эти результаты показали, что Cyber Arenas могут стать ключевым инструментом для эффективного и быстрого развития AI-систем. ## Значимость Cyber Arenas могут быть применены в различных областях, включая безопасность, транспорт, здравоохранение и даже в гражданских задачах. Ключевые преимущества: - **Быстрота развития**: Они дают возможность быстро тестировать и развивать AI-системы в условиях подхо

## Контекст Federated Learning (FL) позволяет обучать модели децентрализованно, не подвергая низкоуровневую информацию о данных. Однако, существующие FL-протоколы слабо защищены от атак типа Byzantine, трудно масштабируются для неидентично распределенных данных (non-IID) и неэффективны для ресурсозависимых устройств. Это проблемы делают FL чувствительным к недобросовестным участникам и снижают его эффективность в реальных условиях. Целью нашей работы является разработка безопасного и эффективного FL-фреймворка, который решает эти проблемы, сочетая хорошую защиту от атак и удобство для устройств с малой мощностью. ## Метод Мы предлагаем DSFL — Dual-Server Byzantine-Resilient Federated Learning, основывающийся на методе групповой безопасной агрегации. Основные инновации DSFL: (1) **двойной серверный протокол безопасной агрегации**, который обеспечивает защиту от атак в ситуации, когда оба сервера недобросовестны, при этом без необходимости использовать криптографические методы; (2) **механизм кредит-базированной фильтрации**, распознающий злонамеренные участников на основе отклонений в их отчетах; и (3) **систему вознаграждения/штрафов**, которая поощряет участников для участия с правильными отчетами. DSFL оптимизирован для реальных условий и применяется к многим популярным датасетам, включая MNIST, CIFAR-10 и CIFAR-100. ## Результаты Мы проводим эксперименты, сравнивая DSFL с LSFL, homomorphic encryption-based approaches, и differential privacy-based approaches. DSFL показывает высокую точность в 97.15% на CIFAR-10 и 68.60% на CIFAR-100 при наличии 30% злонамеренных участников в обеих IID и non-IID условиях. Другие методы, такие как FedAvg, показывают значительно низкие результаты — 9.39% на CIFAR-10 при таких условиях. DSFL также продемонстрировал низкую стоимость вычислений (55.9 мс в ряду) и низкий объем передаваемых данных (1088 КБ в ряду). ## Значимость DSFL может использоваться в сценариях, где требуется высокая защита от атак типа Byzantine, например, в медицине, финансах и автоматизированных системах. Этот фреймворк обеспечивает высокую точность и гибкость в работе с неидентично распределенными данными. Он значительно повышает уровень безопасности и эффективности FL-систем, делая их пригодными для развертывания в реальных условиях. ## Выводы Мы продемонстрировали, что DSFL является эффективным и безопасным фреймворком для FL, который успешно решает проблемы с защитой от злонамеренных участников и неидентичностью данных. Наши результаты показывают высокую эффективность DSFL в разных условиях. Мы также выделяем требования к дальнейшим исследо

## Контекст Современные технологии генерируемого искусственного интеллекта (GenAI) становятся популярнее среди скамеров, увеличивая риск финансовой мошенничества и замедляя уровень доверия к деятельности в Интернете. Несмотря на существующие меры защиты, такие как детекторы мошенничества, обучение пользователей, а также реактивные меры по удалению злонамеренных действий, эффективность этих подходов часто остается недостаточной. Особенно это актуально в отношении таких составляющих мошеннической инфраструктуры, как мулевые банковские счета и криптовалютные кошельки. Чтобы устранить этот пробел, развиваются проактивные методы, которые включают взаимодействие с мошенниками при помощи ценных интеллектуальных трубопроводов (conversational honeypots). Данная работа представляет первую серьезную, реальному миру относящуюся оценку такого системы, основанной на больших языковых моделях (LLMs). ## Метод Проведенные исследования основываются на оптимизированной лингвистической модели, которая имитирует естественное общение и может обмениваться данными с мошенниками. За период пяти месяцев система провела более 2 600 взаимодействий с мошенниками, получив более 18 700 сообщений. Главной метрикой стала информационная дискриминация (IDR), выражающая возможность системы вытащить приватную финансовую информацию, такую как мулевые счета. Также важной метрикой стала людская приемлемость (HAR), отражающая соответствие генерируемых ответов желаемого уровня качества. За основу работы была взята модель GPT-4 (языковая модель OpenAI), но модель была настроена специально для этого проекта. ## Результаты В результате работы системы было получено более 32% информационной дискриминации, что демонстрирует высокую эффективность в получении финансовых данных. Более того, система достигла 70% успеха в людской приемлемости, что указывает на высокую степерь совпадения генерируемых ответов с потребностями пользователей. Однако система сталкивалась с проблемой запуска взаимодействия: только 48.7% мошенников отвечали на инициализационное сообщение. Это подчеркивает необходимость улучшения стратегий для повышения контактной стадии. ## Значимость Система может применяться в области безопасности информации, контроля финансовой мошенничества, а также в области развития интеллектуальных технологий. Она предоставляет преимущества в скорости и точности получения сведений, что может повлиять на уровень защиты от мошенничества в будущем. Данный подход может быть использован для создания более эффективных механизмов защиты от