## Контекст Современное развитие Интернета вещей (IoT) и стандартов 5G-Advanced позволило расширить возможности сетей, но при этом истощило их безопасность. Угрозы, такие как DDoS, малварь и атаки с использованием zero-day уязвимостей, стали более острыми, а широкое распространение устройств IoT увеличило объем информации, которая может быть взломана. Наличествующие системы обнаружения аномалий иногда становятся неэффективными из-за нехватки ресурсов, требуемых для обработки больших объемов данных в реальном времени. Однако актуальность этой проблемы исключительно высока, так как безопасность 5G-Advanced IoT сетей необходима для поддержки критически важных приложений, таких как здравоохранение, транспорт и индустрия 4.0. Мотивация заключается в создании системы обнаружения аномалий, которая будет эффективной, масштабируемой и совместимой с правовыми требованиями. ## Метод Предлагаемая система обнаружения аномалий объединяет три модели машинного обучения: конvolutional neural network (CNN), bidirectional LSTM (BiLSTM) и autoencoder (AE). Эти модели интегрированы в рамках фреймворка федеративного обучения (federated learning, FL), что позволяет обучать модель без передачи незашифрованных данных между устройствами. CNN и BiLSTM были выбраны за счет их эффективности в выделении структурных паттернов и динамических зависимостей в данных. Autoencoder, в свою очередь, позволяет обнаруживать аномалии, основываясь на различиях в реконструкции данных. Эта архитектура обеспечивает большую точность в обнаружении аномалий и уменьшает потери информации в процессе обучения. ## Результаты На экспериментальных данных UNSW-NB15 (бинарной версии), система показала высокую точность. Точность показателя AUC достигла 99,59%, а F1-метрика составила 97,36%. Анализ конфузион-матрицы показал балансированный результат с высоким уровнем точности и полноты. Инференсный процесс занимает около 0,0476 мс на каждый пример, что соответствует требованиям менее 10 мс для устойчивой работы в условиях URLLC (Ultra-Reliable Low-Latency Communication). Такие показатели подтверждают возможности эффективного развертывания модели на краевых устройствах. ## Значимость Предложенная модель может применяться в различных областях, таких как здравоохранение, финансы, транспорт и промышленность. Она обеспечивает не только высокую точность, но и масштабируемость, которая ключевая для больших IoT-сетей. Несмотря на требования к конфиденциальности и безопасности, архитектура FL позволяет обучать модель без передачи исходных данных, что удовлетворяет требованиям закона и гарантирует масштабируемость. ## Выводы

## Контекст В 2022 году проводились ранние исследования по защите технологий генерирующих текст от атак, основанных на подмене инструкций (prompt injection). Эти атаки заключаются в том, что злоумышленник вводит в систему нежелательные команды, подменяя или дополняя инструкции, которые она должна выполнить. Такие атаки являются критически важной проблемой для безопасности, особенно в контексте широкого распространения ИИ. Одним из главных исследований в этой области было исследование возможности защиты технологий, таких как GPT-3, от таких атак. Эти попытки воспроизвели и изучили типы атак, а также разработали новые методы защиты, в том числе Adversarial Fine-Tuning. ## Метод Разработка защитных методов основывалась на систематическом тестировании и анализе результатов взаимодействия с генерирующими моделями текста. Методология включала в себя создание и подготовку специальных тестовых уровней, позволяющих проверить модели на устойчивость к строго определенным видам атак. Тестировались модели с разного размера, включая GPT-3 и GPT-2. Особый акцент был сделан на Adversarial Fine-Tuning — технике, которая включает в себя упражнение моделей на специальных данных для того, чтобы улучшить их устойчивость к подобным атакам. ## Результаты Исследование показало, что некоторые модели, такие как GPT-3 Ada и Babbage, значительно устойчивее к prompt injection-атакам после Adversarial Fine-Tuning. Например, успешных атак было удалось выполнить с меньшей частотой, сравнительно с незащищенными моделями. Однако для более мощных моделей, таких как GPT-3 Davinci, эффективность защиты была ниже. Это можно объяснить тем, что более гибкие модели, с большим количеством параметров, намного более чувствительны к нежелательным внешним воздействиям. Несмотря на это, данный подход продемонстрировал существенный уровень защиты от атак в меньших моделях. ## Значимость Результаты этого исследования имеют практическое значение для обеспечения безопасности технологий генерирующих текст. Защитные методы, разработанные в этом исследовании, установили новые стандарты для защиты от prompt injection-атак и стали основой для дальнейшего исследования. Эти техники были применены в последующих исследованиях, в том числе в инструкционных системах и подходах, основанных на построении системных конституций (constitutional AI). Эти исследования имеют широкое применение в области безопасности ИИ, обеспечивая системным защиту от нежелательных подмен выдаваемых ими инструкций. ## Выводы Исследования 2022 года установили новые этапы в развитии защитных методов для генерирующих текстовых моделей.

## Контекст Продвинутые технологии генерирующих текст, такие как Large Language Models (LLM), становятся важной составляющей современных систем. Однако эти модели чувствительны к **prompt injection attacks**, при которых вредоносные команды встраиваются во входные данные, чтобы изменить поведение модели. Эти атаки могут привести к утечке конфиденциальных данных, выполнению вредоносного кода и другим нежелательным последствиям. Недостаточная безопасность LLM поднимает вопросы о доверии к их применению в критически важных приложениях. Необходимо разработать эффективные методы защиты, которые способны обнаруживать и отвращать такие атаки в реальном времени. ## Метод Мы предлагаем **Multi-Agent LLM Defense Pipeline**, которая использует несколько специализированных LLM-агентов, работающих в организованной системе. Основной элемент — **Chain-of-Agents Pipeline**, в которой каждый агент выполняет специальную задачу, такую как детектирование подозрительных входных данных или контроль логической корректности ответов. Для улучшения гибкости и ресурсосбережения мы также исследовали **Hierarchical Coordinator-Based System**, где высокоуровневый агент управляет подчиненными. Архитектура основана на обученных моделях, которые могут анализировать потоки данных, определяя нестандартные поведения и принятие решений в реальном времени. ## Результаты Мы провели серьезные эксперименты на двух LLM-платформах: ChatGLM и Llama2. В тестовом наборе были включены 55 разных типов prompt injection attacks, разделенных на 8 категорий, с общим количеством 400 атак. Без защиты, Attack Success Rate (ASR) достигал 30% для ChatGLM и 20% для Llama2. Наша многоагентная пайплайн-система полностью инвалидировала все атаки, снизив ASR до 0% на двух платформах. Мы также проверили устойчивость системы к разным типам атак, включая direct overrides, code execution, data exfiltration, и obfuscation. Метод позволил сохранить высокую точность в обработке верного ввода пользователей. ## Значимость Наша пайплайн-система может быть применена в различных критически важных системах, включая системы консультирования, системы безопасности, и системы управления. Она обеспечивает высокую устойчивость к сложным attack-методам с нулевым ущербным эффектом на функциональность. Этот подход может стать ключевым элементом в развитии безопасных систем на основе генерирующих моделей языка, обеспечивая доверие к их использованию в сложных, важных для бизнеса приложениях. ## Выводы Мы успешно разработали и проверили многоагентную пайплайн-систему для защиты от prompt injection attacks. Наши результаты показали 100% mitigation-эффект во всех тестовых сценариях. Мы собираемся продолжать улучшать нашу модель, исследуя дальней

#### Контекст В области разностной приватности (differential privacy), нормированные квадратные корни являются ключевыми критериями для оценки точности различных методов, таких как применение глубоких нейронных сетей. Одним из важных вопросов является достижение точности при работе с глубокими моделями, где требуется минимизировать ошибки в процессе обучения на больших данных. Одна из самых проблемных задач в этой области — повышение точности различных алгоритмов обучения, которые позволяют поддерживать приватность данных, немедленно обрабатывая большие объемы данных в реальном времени. Несмотря на развитие многих методов, таких как градиентный способ и метод градиентного исключения, значительными ограничениями являются сложность и неточность вычислений в режиме реального времени. Наше исследование посвящено улучшению теоретических базисов, необходимых для точного определения факторизации матриц в рамках приватных алгоритмов. #### Метод Мы применяем новую математическую модель, основываясь на теории графов и матричных разложений, для построения более точных оценок \(\gamma_2(M_{count})\) и \(\gamma_F(M_{count})\), где \(M_{count}\) — нижнетреугольная матрица с единичными элементами. Методом геометрического анализа мы исследуем связи между этими факторами и применяем новые алгоритмы для уменьшения разницы между нижними и верхними оценками. Это достигается за счет использования частных свойств матрицы \(M_{count}\) и использования новых математических трансформаций. #### Результаты Мы показали, что $$ 0.701 + \frac{\log n}{\pi} + o(1) \leq \gamma_2(M_{count}) \leq 0.846 + \frac{\log n}{\pi} + o(1). $$ Это позволило сократить разницу между верхней и нижней оценками до $0.14 + o(1)$. Также, для \(\gamma_F(M_{count})\) достигнуты следующие оценки: $$ 0.701 + \frac{\log n}{\pi} + o(1) \leq \gamma_F(M_{count}) \leq 0.748 + \frac{\log n}{\pi} + o(1). $$ Эти результаты позволяют существенно уменьшить разрыв между теоретическими оценками для \(\gamma_2\) и \(\gamma_F\), улучшив точность различных моделей, использующих различные методы приватности. #### Значимость Наша работа имеет прикладное значение для улучшения различных методов обучения глубоких моделей, где требуется обработка больших данных в режиме реального времени. Уменьшение разницы между верхними и нижними оценками позволяет повысить точность работы глубоких моделей при применении различных приватных методов. Это также может быть применено к различным задачам данных большого размера, таким как сегментация изображений, обработка естественного языка и анализ биоинформатики. Наша работа также открывает пути для дальнейшего исследования

## Контекст Современное исследование в области машинного обучения применяется для обнаружения и классификации вредоносных программ (malware). Одним из актуальных подходов является использование образов для классификации malware. Этот подход базируется на том, что можно превратить экзекутабельные файлы malware в изображения, используя различные методы, и затем применить методы машинного обучения, ориентированные на изображения, для классификации. Тем не менее, существует несколько проблем, связанных с тем, каким образом эти файлы должны быть представлены в качестве изображений, и какие методы являются наиболее эффективными. Изучение этой области важно для создания более точных и надежных систем обнаружения malware, которые могут быть использованы в реальных ситуациях для защиты от вредоносного ПО. ## Метод В ходе данного исследования использовались восемь различных методов преобразования файлов malware в изображения. Эти методы включают в себя различные подходы, такие как преобразование двоичных данных в градации серого, создание спектрограмм, применение различных типов хешей и другие. Для каждого из этих методов производилась оценка различных машинных обучающих моделей, включая сверточные нейронные сети (Convolutional Neural Networks, CNN), рекуррентные нейронные сети (Recurrent Neural Networks, RNN) и другие модели. Методы преобразования были применены к большому набору данных malware, а результаты этих преобразований использовались для обучения и тестирования моделей. ## Результаты Результаты экспериментов показали, что несколько методов преобразования показали похожие результаты в терминах точности классификации, несмотря на различия в технических подходах. Например, методы, основанные на сглаживании изображений или использовании хешей, продемонстрировали почти одинаковую точность классификации на разных моделях. Это позволяет сделать вывод, что точность классификации malware зависит больше от сильных сторон методов обработки изображений, чем от того, как именно файлы malware были преобразованы в изображения. Было также отмечено, что некоторые модели, такие как CNN, показали более высокую точность в классификации по сравнению с другими моделями. ## Значимость Результаты этого исследования показывают, что методы преобразования malware в изображения имеют существенное влияние на эффективность классификации, но не являются однозначным фактором. Эффективные системы классификации могут быть построены на основе различных методов преобразования, что дает широкий выбор для использования в разных сценариях. Это может быть полезно для разработки более универсальных систем обнаружения malware, которые могут применяться в различных ситуациях, вк

## Контекст Антиденегоправонарушенческие (AML) исследования сталкиваются с ограничениями, связанными с отсутствием открытых, регулируемых транзакционных наборов данных. Это влечет за собой ограниченную возможность проверки новых методов AML в условиях реальных сценариев. Для преодоления этого ограничения необходимы реалистичные транзакции, соответствующие нормативным требованиям и имитирующие настоящую структуру денежной цепочки. Однако существующие подходы либо не достаточно регулируются, либо не достаточно реалистичны. Мы предлагаем AMLNet, который представляет собой крупномасштабный знаний-ориентированный многоагентный фреймворк, состоящий из двух составляющих: регулируемого транзакционного генератора и ассемблированной системы детекции. ## Метод AMLNet основывается на параллельном подходе к моделированию транзакций. Генератор транзакций использует **Multi-Agent Deep Reinforcement Learning (MADRL)** для создания регулируемых транзакций. Он обеспечивает реалистичность на каждом этапе цепочки денежной очистки (placement, layering, integration) и включает передовые типологии, такие как структурирование и адаптивное поведение по порогам. Ассемблированная система детекции включает **ensemble of classifiers**, такие как **XGBoost**, **Random Forest** и **Neural Networks**, работающие в рамках **ensemble learning**. Отдельно, в AMLNet используются **Graph Neural Networks (GNN)** для сетевого моделирования, чтобы обнаруживать сетевые модели доверия и скрытых структур, связанных с денежной очисткой. ## Результаты Мы провели эксперименты, используя 1,090,173 генерируемых транзакций, искуственно обогащенных реалистичными сценариями. Транзакции были разбиты на тестовые и обучающие наборы, где F1-меру достигают **0.90** (precision **0.84**, recall **0.97**). Датасет AMLNet был протестирован с помощью внешнего набора данных **SynthAML**, подтверждая гибкость и общий подход. Кроме того, детекторы показали результаты **0.75** для **composite technical fidelity score**, что характеризует реалистичность транзакций на уровне структуры, временной динамики и поведения. ## Значимость AMLNet может применяться в сфере **AML experimentation** для создания синтетических транзакций, которые позволяют проверять системы обнаружения AML в условиях реальных сценариев. Он поддерживает **regulatory alignment**, **temporal and behavioral fidelity**, и **network modeling**, что расширяет возможности для экспериментации в AML. Этот подход может повысить качество систем обнаружения AML и обеспечить более эффективную проверку новых моделей. ## Выводы AMLNet является первым крупномасштабным фреймворком, который объединяет регулируемость, реалистичность и моделирование цепочки денежной очистки. Он демонстрирует высоки

## Контекст С ростом популярности пятого поколения (5G) сетей, их применение распространяется на критически важные области, такие как медицина, передача данных, и системы управления производством. Однако, это приводит к повышению риска атак, таких как Denial of Service (DoS), Man-in-the-Middle (MitM), и ещё больше. Технологии 5G требуют надежных систем обнаружения вторжений, которые не только обнаружат, но и объяснят почему был выдан такой вывод. Объяснение подобных атак, не только помогает в усилении уверенности в системе, но и в улучшении ответа на них, что важно для того, чтобы уменьшить вред от атак. ## Метод В данном исследовании используются два подхода для объяснения выводов систем обнаружения вторжений: SHAP (SHapley Additive exPlanations) и VoTE-XAI (Voting-based eXplainable AI). SHAP предоставляет аддитивные интерпретации, в которых каждая фича привносит определенный вклад в итоговый вывод. VoTE-XAI, напротив, основывается на логических выводах и внесении голосов для определения важности фич. Эти методы были рассмотрены на основе модели XGBoost, обученной на данных с различными типами атак 5G-сети. Результаты сравнивались с помощью трёх основных метрик: спарситет (сжатость выбора фич), стабильность (постоянство выбора фич для одного типа атаки), и эффективность (время, необходимое для получения вывода). ## Результаты Исследование показало, что SHAP и VoTE-XAI дают различные результаты в выборе важных фич. Например, в случае атаки DoS в 5G-сети с 92 фичами, VoTE-XAI выделила 6 важных фич, в то время как SHAP выделила более 20. Однако, ни одна из важных фич, выделенных SHAP, не была пропущена VoTE-XAI. В плане эффективности, VoTE-XAI показал более результативный результат, способный выдать интерпретацию за менее 0.002 секунд в случае высокой размерности фич (478 фич). ## Значимость Исследование этих методов показало, что и по SHAP, и по VoTE-XAI могут быть полезны в разных ситуациях, в зависимости от конкретных требований к скорости и точности. SHAP предоставляет более подробные интерпретации, но может быть менее эффективен в высокомерных системах. VoTE-XAI, напротив, быстрее и проще в использовании, но может не предоставить такой полный обзор важных фич. Эти методы могут быть применены в системах мониторинга безопасности 5G-сетей для обеспечения быстрого и надежного объяснения вторжений. ## Выводы Итого, это исследование продемонстрировало различия в методах объяснения выводов систем обнаружения вторжений, а также их преимущества и ограничения. Дальнейшие исследования должны фокусироваться на создании более универсальных методов, которые могут комбинирова

## Контекст Графовые нейронные сети (GNN) получили широкое применение в решении задач моделирования и анализа данных, хранящихся в виде графов. Однако использование GNN в моделях как услуга (MLaaS) столкнулось с затруднениями в обеспечении конфиденциальности данных и безопасности моделей. Третьи лица, такие как поставщики облачных сервисов и владельцы моделей, могут получить доступ к чувствительным данным клиентов и моделям. Это создает риск для конфиденциальности и безопасности данных. Для решения этой проблемы необходима безопасная платформа, которая защитит данные клиентов и модели во время их использования в облачных средах. ## Метод CryptGNN предлагает инновационное решение для защиты данных и моделей в облачных средах. Он использует сверхновую конфигурацию системы, включающую несколько сторон, для выполнения секретного общения (SMPC). Данные клиентов и модели шифруются до их отправки на облачный сервер. Затем, используя SMPC, производится обработка данных и моделей без раскрытия информации о данных и модели. Архитектура CryptGNN динамическая и может поддерживать любое количество сторон в системе. Она не требует доверия к любой конкретной стороне, даже в случае выраженного коллаборационизма. Теоретическая модель и алгоритмы были разработаны с учетом этих требований, чтобы обеспечить безопасность и эффективность. ## Результаты В ходе экспериментов CryptGNN были применены к реальным данным и моделям GNN. Использовались методы SMPC для шифрования и вычислений над зашифрованными данными. Опытные результаты показали, что CryptGNN обеспечивает высокий уровень защиты данных и моделей, не ухудшая эффективность вычислений. На основе результатов экспериментов было произведено сравнение с другими существующими системами защиты данных. CryptGNN доказал свою превосходность в обеспечении безопасности и эффективности. Эти результаты были валидированы на нескольких наборах данных и моделях, подтвердив широкую применимость и эффективность системы. ## Значимость Приложения CryptGNN могут быть развернуты в различных областях, таких как финансы, здравоохранение, социальные сети и логистика. Он обеспечивает конфиденциальность данных клиентов и моделей в облачных средах, уменьшая риск обнаружения чувствительной информации. Благодаря своей многосторонней архитектуре и отсутствию доверия к любой конкретной стороне, CryptGNN обеспечивает уникальные преимущества в области обеспечения безопасности в облачных сервисах. Это может привести к более широкому применению GNN в облачных решениях, повышению уровня доверия к сервисам и улучшению бе

#### Контекст Современные сетевые системы подвержены неограниченным угрозам в сфере безопасности, что делает развитие эффективных методов обнаружения вторжений критически важным. Одной из основных проблем в этой области является то, что большинство наборов данных, используемых для обучения сетевых систем обнаружения вторжений (IDS), содержат большую классификацию "бенгального" трафика, которая объединяет все неатакующий трафик в один большой класс. Это предположение ограничивает возможность машинного обучения, так как неконкретность данных может привести к снижению точности и разрешаемости. Этот аспект становится важным для изучения, чтобы выявить существующие подклассы в трафике, которые могут улучшить точность распознавания и увеличить обобщающую способность сетевых IDS. #### Метод Для изучения структуры бенгального трафика в сетевых IDS-датасетах (NSL-KDD, UNSW-NB15, CIC-IDS 2017), проводится расширенный анализ с использованием нескольких неуправляемых методов кластеризации. Такие алгоритмы, как HDBSCAN и Mean Shift Clustering, используются для выявления подклассов в трафике "бенгального" трафика. Кроме того, данные разделяются по меткам времени и методам сетевой активности, чтобы определить логические семантические отношения между классами. Это позволяет выявить наличие внутриклассовых отличий и их потенциального вклада в обучение IDS-систем. #### Результаты Результаты кластеризации показывают, что внутри бенгального трафика существуют многочисленные подклассы, поддерживающие различные сетевые действия. Например, среди кластеров было выявлено трафиковое поведение, связанное с различными типами запросов, потоком данных и приложений. Эти кластеры отличаются по структуре и характеру данных, что позволяет улучшить разрешаемость IDS-систем. Также были выявлены вклады различных технологий, таких как HTTP, FTP и DNS, в различные кластеры, что позволяет выделить их роль в структуре трафика. #### Значимость Исследования имеют действенное применение в сфере сетевой безопасности, позволяя улучшить точность и детализацию распознавания вторжений. Использование неуправляемых кластеризаций позволяет выявить подклассы в бенгальном трафике, что повышает разрешаемость и улучшает контекстные оценки. Эти результаты могут повлиять на развитие более точных и адаптивных методов для обучения идентификации атак в IDS-системах. Это также открывает пути для создания более сложных моделей многоклассовой классификации, которые учитывают внутреннюю структуру трафика. #### Выводы Изучение внутренней ст

## Контекст В статье рассматривается одна из самых распространенных проблем в области машинного обучения — обеспечение конфиденциальности данных при обучении моделей глубокого обучения. Данная проблема становится актуальна при обработке конфиденциальных данных, таких как личные данные или медицинские данные. Основным методом обеспечения конфиденциальности является Differentially Private Stochastic Gradient Descent (DP-SGD), который использует механизм шума для защиты информации. Однако существуют ряд ограничений в существующих подходах. Например, стандартные механизмы шума, такие как гауссовский и лапласианский, ограничены в своей гибкости, так как их параметры не позволяют оптимизировать по отдельности эффект защиты и качество модели. Это приводит к проблемам при оптимизации требуемого уровня конфиденциальности и максимального качества модели, особенно в условиях разных задач и ограничений, таких как время обучения и размер батча. ## Метод Для решения этой проблемы предлагается новый подход, основанный на оптимизации Privacy Loss Random Variable (PLRV). Ранее, параметры шума в DP-SGD были ограничены двумя факторами: значением шума и уровнем конфиденциальности (эпсилон). В новом подходе предлагается расширить поиск пространства параметров шума, чтобы включить в него дополнительные параметры, такие как размер модели и количество итераций обучения. Это позволяет оптимизировать качество модели и уровень конфиденциальности независимо друг от друга. Архитектура фреймворка PLRV-O включает в себя многоуровневую оптимизацию, позволяющую учесть задачи с различными ограничениями, такими как размер батча и стратегии выбора данных. ## Результаты На практике проведены эксперименты на двух датасетах: CIFAR-10 и SST-2. На CIFAR-10 был использован модель ViT, а на SST-2 — RoBERTa-large. Результаты показали, что новый подход PLRV-O значительно улучшает качество модели в сравнении с традиционными методами, такими как Gaussian Noise. Например, fine-tuned ViT на CIFAR-10 достиг 94.03% точности при epsilon примерно 0.5, в то время как Gaussian Noise дал только 83.93%. Аналогичные результаты были получены и для SST-2, где RoBERTa-large показал 92.20% точности при epsilon 0.2, в то время как Gaussian Noise дал лишь 50.25%. Эти результаты указывают на значительную улучшение качества моделей при применении PLRV-O. ## Значимость Предложенный подход имеет широкие применения в области конфиденциального машинного обучения. Он позволяет улучшить качество моделей в условиях жестких ограничений конфиденциальности. Благодаря гибкости PLRV-O, модели могут быть оптимизированы для различных задач, включая обучение с учетом размера модели