📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Md Talha Mohsin

## Контекст В современных здравоохранных системах существуют две основные проблемы: нехватка прозрачности в алгоритмах машинного обучения и защита патентных данных. Недостаточная прозрачность приводит к недоверию пользователей к решениям, основанным на искусственном интеллекте, что может повлиять на качество медицинских услуг. Безопасность патентных данных требует гарантии иммутабельности, аудитности и защиты от вмешательства. Блокчейн может решить эти проблемы, обеспечив защиту данных и доказательство их целостности. Однако блокчейн, используемый в сочетании с AI, должен обеспечить не только безопасность, но и прозрачность выводов, чтобы повысить доверие к системам здравоохранения. Наша мотивация заключается в создании фреймворка, который объединяет блокчейн и Explainable AI (XAI) для решения этих задач. ## Метод Мы предлагаем Blockchain-Integrated Explainable AI Framework (BXHF), который интегрирует технологии блокчейна и XAI для создания надежных систем здравоохранения. BXHF использует блокчейн для предоставления многоуровневой безопасности: иммутабельности и аудитности патентных данных. Защищенные данные используются в качестве входных данных для XAI-методов, которые генерируют интерпретируемые и клинически релевантные выводы. Фреймворк также интегрирует федеративное обучение, которое позволяет различным учреждениям обмениваться данными и обучать модели в соответствии с принципами защиты приватности. Архитектура BXHF включает в себя две основные спецификации: гибридную структуру (edge-cloud) для распределенного вычисления и механизмы шифрования для защиты конфиденциальности. ## Результаты Мы проводили эксперименты на наборе данных, содержащем патентные записи и клинические данные, чтобы проверить эффективность BXHF. Мы использовали стандартные метрики для оценки качества моделей (таких как точность, полнота и F1-меру) и метрик XAI (таких как SHAP и LIME). Результаты показали, что BXHF предоставляет высокоточные клинически релевантные выводы, при этом обеспечивая прозрачность и безопасность данных. Мы также провели эксперименты с федеративным обучением, что подтвердило устойчивость фреймворка к различным условиям разделения данных. ## Значимость BXHF может быть применен в различных областях задач здравоохранения. Он позволяет обеспечить безопасное и прозрачное обменом данными между различными учреждениями, что важно для выполнения международных клинических исследований. Благодаря интеграции XAI, BXHF может обеспечить доверие к решениям, основанным на AI, в таких областях, как диагностика редких заболеваний и рекомендации в высокорисковых ситуациях. Этот фреймво
Annotation:
This paper introduces a Blockchain-Integrated Explainable AI Framework (BXHF) for healthcare systems to tackle two essential challenges confronting health information networks: safe data exchange and comprehensible AI-driven clinical decision-making. Our architecture incorporates blockchain, ensuring patient records are immutable, auditable, and tamper-proof, alongside Explainable AI (XAI) methodologies that yield transparent and clinically relevant model predictions. By incorporating security a...
ID: 2509.14987v1 cs.CR, cs.AI, cs.LG
Авторы:

Simin Chen, Jinjun Peng, Yixin He, Junfeng Yang, Baishakhi Ray

## Контекст Deep learning (DL) compilers являются ключевой частью современных DL-систем, обеспечивая гибкость и масштабируемость, которые недоступны в производственных библиотеках. Однако наличие этих преимуществ не означает абсолютной безопасности. Основной вопрос, вызывающий нашу интересу, заключается в следующем: могут ли стандартные DL-компиляторы, даже не измененные вручную, изменять семантику модели во время компиляции и внедрять незаметные запускатели бекдоров? Эта проблема обнаруживается как в адверсарном, так и в натуральном контексте, причем в первом случае существуют явные риски, в том числе внедрение запускателей заранее невидимых бекдоров, а во втором – возможность неявного внедрения такого поведения без явной потери качества. Это открывает новую площадку для изучения безопасности в DL-системах. ## Метод Мы разработали методику, которая позволяет тестировать ситуации, когда оригинальная модель не содержит бекдоров, но после компиляции возникает новое поведение, которое может быть использовано в качестве запускателя бекдора. Мы использовали современные DL-компиляторы, такие как TensorFlow, PyTorch и TVM, а также проверили результаты на двух различных аппаратных платформах – NVIDIA GPU и ARM CPU. Для естественного контекста, мы проанализировали 100 моделей с HuggingFace, в том числе одну модель с более чем 220 миллионами скачиваний. Мы измеряли не только эффективность запускателя, но и возможность его обнаружения с помощью текущих системы обнаружения запускателей бекдоров. ## Результаты Наши эксперименты показали, что 6 моделей, компилированных с помощью трех различных стандартных DL-компиляторов, подвергаются успешной атаке, в то время как атака не влияла на общую точность модели или ее стабильность. Мы также обнаружили, что в 31 моделях, проанализированных с HuggingFace, присутствовали естественные запускатели бекдоров, которые могут быть использованы даже без преднамеренных попыток внедрения запускателей. Это включает модель с огромной популярностью (220 миллионов скачиваний). Мы также проверили, что атаки не зависят от аппаратной платформы и даже формата чисел с плавающей точкой, что делает ее универсальной. ## Значимость Наши результаты показывают, что уязвимость DL-компиляторов может быть использована для внедрения незаметных бекдоров в модели, даже если атака не преднамеренна. Это открывает новую зону риска для безопасности в DL-системах. Мы также показали, что текущие способы обнаружения таких уязвимостей не всегда эффективны. Наше исследование открывает путь для разработки более безопасных и надежных ме
Annotation:
Deep learning (DL) compilers are core infrastructure in modern DL systems, offering flexibility and scalability beyond vendor-specific libraries. This work uncovers a fundamental vulnerability in their design: can an official, unmodified compiler alter a model's semantics during compilation and introduce hidden backdoors? We study both adversarial and natural settings. In the adversarial case, we craft benign models where triggers have no effect pre-compilation but become effective backdoors aft...
ID: 2509.11173v2 cs.CR, cs.AI, cs.LG, cs.SE
Авторы:

Muhammad Arif Hakimi Zamrai, Kamaludin Mohd Yusof

#### Контекст В современных транспортных системах, обеспечение безопасности ветвей Интернета вещей (IoT), включая Software-Defined Internet of Vehicles (SD-IoV), является критически важной задачей. Одной из наиболее распространенных угроз в этой области является TCP SYN flood attack, который может привести к нарушению доступности сети и задержкам в обмене данными. Уязвимость SD-IoV сети растет в условиях высокой мобильности и многоуровневой архитектуры. Оптимальное обнаружение таких атак требует высокой точности и минимального времени, чтобы обеспечить безопасность и эффективность взаимодействия. #### Метод Для обнаружения TCP SYN flood attack в SD-IoV использовалась стратифицированная K-Fold cross-validation с Random Forest Classifier. Эта методика обеспечивает комплексную оценку модели на разных подмножествах данных, что позволяет избежать переобучения и повысить целостность эксперимента. Данные были предварительно обработаны с помощью feature scaling и label encoding для повышения точности классификации. Модель была тщательно оптимизирована с учетом количества эстиматов (20) и максимальной глубины дерева (10), что позволило достичь максимальной точности с минимальным временем обнаружения. #### Результаты Проведенные эксперименты показали высокую эффективность Random Forest Classifier в обнаружении SYN DoS атак. Модель достигла следующих результатов: 99.9998% точности и 0.24 секунд на обнаружение атаки. Эти показатели достигнуты благодаря точной настройке параметров модели и использованию Stratified K-Fold cross-validation. Основным достижением является то, что модель эффективно отличает нормальный трафик от атак, обеспечивая минимальные задержки и повышая реакцию систем на вторжения. #### Значимость Результаты имеют значительное значение для безопасности SD-IoV, так как модель может быть применена для реального времени, обеспечивая быстрое и точное обнаружение атак. Данный подход может быть применен в различных сценариях, включая системы дорожного трафика, системы безопасности транспорта и системы мониторинга ветвей IoT. Он предоставляет дополнительный уровень защиты для SD-IoV, уменьшая риски нарушения сетевой эффективности и обеспечивая надежность систем. #### Выводы Результаты исследования показывают, что Random Forest Classifier с Stratified K-Fold cross-validation является эффективным методом для обнаружения TCP SYN flood attack в SD-IoV. Данный подход достиг высокой точности и минимального времени обнаружения, что делает его применимым в реальных сетях. Будущие исследования будут ориентированы на расширение модели для обнаружения других видов атак и оптимизацию ее на более крупных данных.
Annotation:
In response to the prevalent concern of TCP SYN flood attacks within the context of Software-Defined Internet of Vehicles (SD-IoV), this study addresses the significant challenge of network security in rapidly evolving vehicular communication systems. This research focuses on optimizing a Random Forest Classifier model to achieve maximum accuracy and minimal detection time, thereby enhancing vehicular network security. The methodology involves preprocessing a dataset containing SYN attack instan...
ID: 2509.07016v1 cs.CR, cs.AI, cs.LG
Авторы:

Xinyu Gao, Xiangtao Meng, Yingkai Dong, Zheng Li, Shanqing Guo

## Контекст Retrieval-Augmented Generation (RAG) — это мощная архитектура, которая объединяет генерирующую модель с внешними базами данных, чтобы уменьшить "халтуринг" (hallucinations) в ответах. Она найдена в большинстве современных приложений, таких как системы вопроса-ответа, где необходимо обратиться к широкой информационной базе. Однако эта модель также вводит новые риски, особенно для обработки конфиденциальных данных. Например, RAG может раскрыть, была ли конкретная запись включена в сводку, что создает риск дыры в защите личных данных. Многие методы подхода Membership Inference Attack (MIA) стараются выявить такие дыры, но часто сталкиваются с тем, что результаты могут быть повлияны не только найденными документами, но и недостающими. Наша команда разработала **DCMI** (Differential Calibration Membership Inference Attack), чтобы более точно определять, были ли документы включены в вывод RAG. ## Метод DCMI использует **метод дифференциальной калибровки**, чтобы различать ответы RAG относительно документов, которые были включены в вывод в отношении запроса. Чтобы сделать это, мы используем **перерисовку запроса** (query perturbation), которая меняет запрос с минимальным изменением смысла, но с большим воздействием на нейросетевую модель. Эти перерисованные запросы помогают нам определить, насколько сильно ответы RAG зависят от отдельных документов. Мы также анализируем **пространство вариаций** между ответами на документы-участников (members) и неучастников (non-members), чтобы выделить сильные сигналы, связанные с включенными документами. DCMI работает так, чтобы исключить значительный шум, который мог быть вызван невинными документами, которые не были включены в вывод. ## Результаты Мы провели эксперименты на двух уровнях — симуляционных и реальных системах RAG. В первых, мы использовали Flan-T5 в качестве модели RAG и синтетические данные для эмуляции различных уровней включения документов. Результаты показали, что DCMI опередила базовый метод MBA (Maximum Calibration MIA) над уровнем доверия, повысив AUC (Area Under Curve) до **97.42%** и достигнув **94.35%** точности с значительным увеличением (плюс 40%) по сравнению с лучшим базовым решением. Мы также протестировали DCMI на **Dify** и **MaxKB** — двух реальных платформах RAG. Там, DCMI показала выигрыш в **10%-20%** по сравнению с MBA, что подтверждает эффективность нашего подхода в реальных условиях. ## Значимость Наша работа открывает новые возможности для изучения проблемы защиты конфиденциальности в RAG-системах. Особенно важно, что DCMI не только демонстрирует эффективность в синтетических условиях, но и показывает выигрыш в реальных платформах. Это значит, что наш подход может быть применен
Annotation:
While Retrieval-Augmented Generation (RAG) effectively reduces hallucinations by integrating external knowledge bases, it introduces vulnerabilities to membership inference attacks (MIAs), particularly in systems handling sensitive data. Existing MIAs targeting RAG's external databases often rely on model responses but ignore the interference of non-member-retrieved documents on RAG outputs, limiting their effectiveness. To address this, we propose DCMI, a differential calibration MIA that mitig...
ID: 2509.06026v1 cs.CR, cs.AI, cs.LG
Авторы:

Einstein Rivas Pizarro, Wajiha Zaheer, Li Yang, Khalil El-Khatib, Glenn Harvel

## Контекст Обеспечение безопасности в критически важных областях, таких как ядерные установки и медицинская инфраструктура, является ключевым аспектом современного общества. Одной из самых критических задач в этой области является защита систем радиационного мониторинга (Radiation Detection Systems, RDS) от хакерских атак. Такие атаки, такие как data injection, man-in-the-middle (MITM), ICMP floods, botnet attacks, privilege escalation и distributed denial-of-service (DDoS), могут серьезно повлиять на достоверность данных и общественное благополучие. Несмотря на существующие меры безопасности, эти угрозы остаются актуальными, и требуется разработка эффективных систем, которые могут работать в реальном времени на устройствах с ограниченными ресурсами. ## Метод Предлагаемый подход включает в себя разработку новой синтетической радиационной базы данных, которая адаптирована для обучения и оптимизации машинного обучения (ML). Для реализации Intrusion Detection System (IDS) используется методология TinyML, которая оптимизирует модель XGBoost. Оптимизация включает в себя такие методы, как pruning (корректировка весов модели), quantization (сжатие модели), feature selection (выбор особенно важных признаков) и sampling (выборка данных). Эти методы позволяют снизить размер модели и уменьшить потребление ресурсов при оценке, чтобы обеспечить реальномубо времени детекцию вторжений на устройствах с ограниченными ресурсами. ## Результаты Для доказательства эффективности предлагаемой системы была проведена экспериментальная работа с использованием созданной синтетической радиационной базы данных. Результаты показали, что оптимизированная модель XGBoost, использующая TinyML-приемы, обеспечивает высокую точность детекции атак с минимальным потреблением ресурсов. Например, модель смогла достичь точности более 95% при снижении вычислительных затрат на 40% по сравнению с неоптимизированными моделями. Это демонстрирует значительное повышение эффективности и реальности использования TinyML в критических системах. ## Значимость Разработанная система может применяться в различных сферах, включая ядерную промышленность, медицину и общественную безопасность. Одним из основных преимуществ является возможность защиты критически важных систем от вторжений с помощью реального времени мониторинга, не требующего высоких ресурсов. Это предоставляет возможность использовать TinyML в решениях для критически важных систем, повышая безопасность и надежность. ## Выводы Выводы можно сформулировать следующим образом: разработанная система IDS, основанная на TinyML, демонстрирует высокую эффективность в детекции вторжений в критически важных системах, в том числе
Annotation:
Radiation Detection Systems (RDSs) play a vital role in ensuring public safety across various settings, from nuclear facilities to medical environments. However, these systems are increasingly vulnerable to cyber-attacks such as data injection, man-in-the-middle (MITM) attacks, ICMP floods, botnet attacks, privilege escalation, and distributed denial-of-service (DDoS) attacks. Such threats could compromise the integrity and reliability of radiation measurements, posing significant public health ...
ID: 2509.01592v1 cs.CR, cs.AI, cs.LG, cs.SY, eess.SY, 68T05, 93C65, 90C35, K.6.5; C.2.3; I.2.6
Авторы:

Nathanael Coolidge, Jaime González Sanz, Li Yang, Khalil El Khatib, Glenn Harvel, Nelson Agbemava, I Putu Susila, Mehmet Yavuz Yagci

## Контекст Системы измерения и обнаружения радиоактивных материалов в окружающей среде (Radiation Detection Systems, RDS) крайне важны для обеспечения безопасности в различных областях, включая атомную энергетику, гражданское строительство и транспорт. Однако эти системы чувствительны к внешним угрозам, таким как Denial of Service (DoS) атаки, которые могут привести к неполадкам и неточности данных. Несмотря на распространенность методов обнаружения атак в сетевых средах, применение таких методов к RDSs остается редким. Это создает значительную проблему для обеспечения надежности и безопасности критически важной инфраструктуры. ## Метод Работа предлагает эффективную IDS-систему на основе машинного обучения для обнаружения аномалий в данных радиационных систем. Основной архитектурой является Машинное Обучение (ML), в частности, алгоритмы, такие как Random Forest, SVM, логистическая регрессия и LightGBM. Используется метод сэмплирования для моделирования DoS-атак на основе реальных данных радиации. На этапе оптимизации методов используются такие техники, как выбор признаков, параллельное выполнение задач и стратегии поиска рандомных значений. Эти методы позволяют улучшить эффективность и скорость развертывания IDS. ## Результаты В ходе экспериментов были протестированы различные модели ML на реальных данных, полученных от RDS. Алгоритм LightGBM продемонстрировал самую высокую точность обнаружения DoS-атак с минимальным потреблением ресурсов. Особенно было отмечено, что LightGBM позволяет достичь точности до 95% при минимальном нагрузке на систему. Также были проведены эксперименты с методами функционального выделения признаков, параллельным выполнением и многопоточной обработкой. ## Значимость Предложенная IDS-система может быть применена в различных областях, включая системы сигнализации, транспортные системы и зоны ядерной безопасности. Особое преимущество заключается в том, что LightGBM-система не только обеспечивает высокую точность, но и работает с минимальным потреблением ресурсов, что особенно важно для реального времени. Это может существенно повлиять на безопасность критически важной инфраструктуры, снижая риск атак и повышая надежность систем. ## Выводы Работа доказала, что LightGBM является эффективным инструментом для обнаружения DoS-атак в RDS. Будущие исследования будут фокусироваться на расширении области применения, включая многофункциональные приложения и улучшение многоуровневой защиты RDS. Также будет рассмотрено повышение точности и развитие методов оптимизации для более сложных типов атак.
Annotation:
Radiation Detection Systems (RDSs) are used to measure and detect abnormal levels of radioactive material in the environment. These systems are used in many applications to mitigate threats posed by high levels of radioactive material. However, these systems lack protection against malicious external attacks to modify the data. The novelty of applying Intrusion Detection Systems (IDS) in RDSs is a crucial element in safeguarding these critical infrastructures. While IDSs are widely used in netwo...
ID: 2509.01599v1 cs.CR, cs.AI, cs.LG, cs.SY, eess.SY, 68T05, 93C65, 90C35, K.6.5; C.2.3; I.2.6
Авторы:

Moontaha Nishat Chowdhury, André Bauer, Minxuan Zhou

## Контекст В современном данно-ориентированном мире рекомендательные системы становятся ключевым инструментом для персонализации пользовательских опытов во многих отраслях. Однако эти системы часто основываются на обработке чувствительных данных, что вызывает серьезные заботы в отношении конфиденциальности. Фулл-хомоморфическая шифрование (FHE) предлагает эффективное решение для шифрования данных во время обработки, но значимой проблемой при его применении к рекомендательным системам является эффективное обращение с информационно-спаршими матрицами рейтингов пользователей и товаров. Операции FHE требуют высокой вычислительной мощности, и простое применение FHE к рекомендательным системам становится невыносимым из-за высоких затрат. Также важной проблемой является высокая накладная стоимость трансляции между сторонами в зашифрованной среде. Наша работа посвящена созданию эффективного решения, которое объединяет Compressed Sparse Row (CSR) представление матриц с методами FHE для матричного факторирования, обеспечивая эффективное обращение с матрицами в зашифрованной среде с минимальными трансляционными затратами. ## Метод Мы предлагаем эффективную методологию, объединяющую Compressed Sparse Row (CSR) представление матриц с FHE-базированным матричным факторированием. CSR представляет матрицу в упрощенном, сжатом виде, что позволяет эффективно обрабатывать спаршие данные. Мы применяем FHE для матричного факторирования, чтобы раскрыть структуру данных без выдачи чувствительной информации. Архитектура нашего подхода включает в себя несколько ключевых этапов: инициализация CSR-представления матрицы, зашифрованное факторирование CSR-матрицы и последующую декомпрессию для получения рекомендаций. Мы используем декомпрессию для минимизации накладных расходов и улучшения точности рекомендаций. Эта методология сочетает высокую эффективность и низкую накладную стоимость, чтобы обеспечить полную конфиденциальность данных и поддерживать высокую точность рекомендаций. ## Результаты Мы провести ряд экспериментов на различных данных, включая реальные рекомендательные матрицы, чтобы оценить эффективность нашего подхода. Наши результаты показывают, что наш подход эффективно обрабатывает информационно-спарши матрицы при небольших затратах на передачу и вычисление. Мы сравнили наш подход с другими технологиями, такими как обычное FHE и сжатые методы без FHE, и получили значительно лучший баланс между точностью рекомендаций и затратами на обработку. Эксперименты показали, что наш подход позволяет получить рекомендации с высокой точностью, почти в нес
Annotation:
In today's data-driven world, recommendation systems personalize user experiences across industries but rely on sensitive data, raising privacy concerns. Fully homomorphic encryption (FHE) can secure these systems, but a significant challenge in applying FHE to recommendation systems is efficiently handling the inherently large and sparse user-item rating matrices. FHE operations are computationally intensive, and naively processing various sparse matrices in recommendation systems would be proh...
ID: 2509.03024v1 cs.CR, cs.AI, cs.LG
Авторы:

Napsu Karmitsa, Antti Airola, Tapio Pahikkala, Tinja Pitkämäki

## Контекст В последние десятилетия наблюдается значительный рост доступности персональных данных, что положительно сказалось на развитии многих областей, таких как машинное обучение, здравоохранение и кибербезопасность. Однако эта динамика также вызвала серьезные затруднения в области защиты персональных данных. Реализованные в последние годы мощные атаки повторного идентификации, а также усиливающиеся юридические и этические требования к ответственному использованию данных, становятся все более актуальными. На данном фоне развитие математически обоснованных инструментов, позволяющих минимизировать риски для частных лиц, является необходимостью. Differential Privacy (DP), введенный в 2006 году Даном Дьюи, представляет собой систематический подход к построению моделей и алгоритмов, которые обеспечивают статистическую защиту от утечек конфиденциальной информации. DP позволяет выполнять анализ данных, сохранив при этом гарантии, что отдельные записи не будут значительно повлиять на результат. Несмотря на свою теоретическую ценность, DP все еще сталкивается с проблемами в реализации, в особенности в сфере privacy-preserving machine learning и synthetic data generation. Цель данного исследования — обзор теоретических основ, практических методов и реальных задач, связанных с DP. ## Метод Методология данного исследования основывается на подробном анализе существующих работ, а также на экспериментальных исследованиях. Основные этапы исследования включают: 1. **Анализ литературы**: Обзор теоретических работ, стандартов и реализаций DP. 2. **Технические решения**: Изучение алгоритмов, используемых в DP, включая механизмы Laplace и Gaussian noise, а также методы сэмплирования. 3. **Практические эксперименты**: Исследование применения DP в сфере машинного обучения и синтетической данной генерации. 4. **Оценка юзабилити**: Анализ возможностей и ограничений DP в реальном мире, в том числе взаимодействия с пользователями. Для моделирования и анализа использовались стандартные данные, такие как Census и Adult, а также синтетические наборы данных для экспериментов с synthetic data generation. ## Результаты Исследование проводилось на базе данных Census и Adult, содержащих информацию о резюме, демографических данных и оплате труда. Для экспериментов с synthetic data generation использовались наборы GANs (Generative Adversarial Networks) и CTGAN (Conditional Tabular GANs). Результаты показали, что применение DP позволяет существенно снизить риск реального утечки информации, однако при этом могут возникнуть проблемы с точностью вывода. Эксперименты также подтвердили, что качество synthetic data зависит от выбора метода и параметров DP-механизма. ## Значимость Получен
Annotation:
The increasing availability of personal data has enabled significant advances in fields such as machine learning, healthcare, and cybersecurity. However, this data abundance also raises serious privacy concerns, especially in light of powerful re-identification attacks and growing legal and ethical demands for responsible data use. Differential privacy (DP) has emerged as a principled, mathematically grounded framework for mitigating these risks. This review provides a comprehensive survey of DP...
ID: 2509.03294v1 cs.CR, cs.AI, cs.LG, 68P27, 68T09, 94A60
Авторы:

Zhan Shi, Yefeng Yuan, Yuhong Liu, Liang Cheng, Yi Fang

## Контекст В настоящее время системы машинного обучения полагаются на большие и высококачественные данные, необходимые для эффективной моделирования и анализа. Однако многие такие данные включают в себя конфиденциальную информацию, которая может повлечь за собой риски для конфиденциальности и потенциальные нарушения законодательства. Ранее использованные методы анонимности часто оказываются недостаточно эффективными, так как не учитывают неявные признаки, такие как стиль письма или топический контекст. Эти неявные признаки могут быть использованы для идентификации исходного автора данных. В этом контексте важно разработать методы, которые не только обеспечат сохранение конфиденциальности, но и сохранят качество данных для применения в моделях машинного обучения. ## Метод Мы предлагаем использовать процедуру гибкой оптимизации на основе алгоритмов глубокого обучения, которая заключается в том, чтобы применять модели глубокого обучения в качестве основы для повышения качества выводимых данных. Мы используем гибкие архитектуры, которые могут обрабатывать различные типы данных и изменяться в зависимости от конкретного задания. Наша модель основывается на подходе, который включает в себя совмещение различных наградных функций для оптимизации критериев качества, среди которых являются семантическая точность, обфускация исходного автора и разнообразие вывода. Мы также используем минимальные значения среднего значения для повышения эффективности процесса. ## Результаты Мы проводим эксперименты на широком диапазоне данных, включая корпусы, содержащие конфиденциальные данные. Наши результаты показывают, что разработанная модель позволяет повысить уровень конфиденциальности данных, сохранив при этом качество и точность вывода. Мы также проводим сравнение с другими методами, показывающими, что наш подход показывает значительное преимущество в обеспечении конфиденциальности без существенного потери качества данных. Также мы проводим анализ изменений в структуре данных, показывающих, что наш подход уместно реагирует на необходимость обфускации стиля и контекста. ## Значимость Наш подход имеет широкие возможноhedenо применения в различных областях, где необходимо обеспечение конфиденциальности данных. Например, он может применяться в медицине, финансах и юридических сферах, где качество и конфиденциальность данных являются критичными. Метод также может использоваться для создания более безопасных систем машинного обучения, уменьшая риск раскрытия конфиденциальной информации. Это может привести к повышению уровня доверия к системам, в которых используются синтетически
Annotation:
The performance of modern machine learning systems depends on access to large, high-quality datasets, often sourced from user-generated content or proprietary, domain-specific corpora. However, these rich datasets inherently contain sensitive personal information, raising significant concerns about privacy, data security, and compliance with regulatory frameworks. While conventional anonymization techniques can remove explicit identifiers, such removal may result in performance drop in downstrea...
ID: 2508.19286v1 cs.CR, cs.AI, cs.LG
Авторы:

Viktor Valadi, Mattias Åkesson, Johan Östman, Salman Toor, Andreas Hellander

## Контекст Federated learning (FL) — это метод обучения моделей с помощью распределенных данных, где клиенты обучают модель локально и делят градиенты с сервером. Однако этот процесс подвержен атакам "gradient inversion", которые могут раскрыть информацию о локальных данных клиентов. Несмотря на появление многих исследований в этой области, остаются вопросы относительно реальности этих атак в условиях реального применения FL. Например, большинство работ ориентированы на уязвимости моделей в режиме инференса, где отключены узколочесткие механизмы, такие как dropout и batch normalization с динамическими статистиками. Наше исследование ориентировано на понимание, как архитектура и тип рабочего режима FL влияют на возможность этих атак в более реалистичных условиях. ## Метод Мы проводим систематический анализ уязвимости федеративных моделей в различных условиях обучения. Для этого используются различные модели, включая глубокие нейросети для классификации изображений и продвинутые модели для обнаружения объектов. Мы используем два основных подхода: атаки с градиентами в режиме инференса (где условия сильно упрощены) и атаки в режиме обучения с учетом реальных условий. Наша методология включает разработку двух новых атак, оптимизированных для различных уровней знаний у атакующего, и подробный эксперимент на модели детектирования объектов в реальном применении. ## Результаты Мы показали, что успешные атаки возможны только при сочетании нескольких условий в архитектуре моделей, включая их ширину, наличие skip-связей и применение pre-activation normalization. Кроме того, мы проверили эффективность нашего атакующего подхода на реальной модели детектирования объектов, где удалось получить успешный градиентный инверсионный атаку только при указанных условиях. Однако, при использовании реальных условий, обнаружено, что сильно ухудшается эффективность таких атак. ## Значимость Наши результаты имеют практическое значение для оценки риска атак в FL. Мы показали, что некоторые архитектурные решения могут значительно усиливать или слабеить уязвимость моделей к таким атакам. Эти находки полезны для разработчиков, помогая им понять, когда и как использовать техники, которые могут уменьшить риск вытекающих из FL данных. Это также открывает пути для будущих исследований в области обеспечения приватности в FL. ## Выводы Мы представили первую подробную исследовательскую работу, которая оценивает риск атак "gradient inversion" в различных условиях тренировки и сериализации моделей в FL. Мы доказали, что некоторые архитектурные решения могут сильно увеличивать уязвимость моделей к таким атакам, но в реальных условиях, эти атаки ока
Annotation:
Gradient inversion attacks have garnered attention for their ability to compromise privacy in federated learning. However, many studies consider attacks with the model in inference mode, where training-time behaviors like dropout are disabled and batch normalization relies on fixed statistics. In this work, we systematically analyze how architecture and training behavior affect vulnerability, including the first in-depth study of inference-mode clients, which we show dramatically simplifies inve...
ID: 2508.19819v1 cs.CR, cs.AI, cs.LG
Показано 41 - 50 из 58 записей