## Контекст Машинное обучение с дифференциальной приватностью (DPML) является ключевым подходом для создания моделей, которые могут использоваться в защищенных сценариях, обеспечивая конфиденциальность данных использования. Несмотря на появление многочисленных новых техник DPML, нет единого согласия о том, какие из них наиболее эффективны и могут быть приняты в широкую практику. Одной из основных проблем является несогласованность в реализациях, данных и методологиях, что сделало невозможным проведение сравнительных исследований. Это проблема становится критичной в свет роста внимания к приватности данных и требованиям к надежности и предсказуемости методов DPML. Целью настоящего исследования является проверка надежности и общеприменимости существующих техник DPML, а также поиск наилучших практик для получения надежных и внедримых в реальные сценарии результатов. ## Метод Мы провели эксперимент на 11 ключевых техниках DPML, известных своими современными результатами. Для этого мы реализовали все техники в одной стандартной кодовой базе, чтобы гарантировать последовательность в экспериментах. Для каждой техники были проведены эксперименты на одних и тех же данных, чтобы получить сравнимые результаты. Также мы использовали разные архитектуры моделей и параметры для анализа их влияния на результаты. Мы протестировали техники в разных условиях, включая разные уровни дифференциальной приватности и различные размеры данных, чтобы понять, насколько они общеприменимы. ## Результаты Результаты экспериментов оказались разными. Некоторые техники демонстрировали надежность и хорошие результаты в разных условиях, соответствуя их оригинальным заявлениям. Однако большая часть техник показала существенные проблемы при применении вне оригинальных условий. Например, некоторые методы оказались сильно зависимы от конкретных данных или архитектур моделей, что снижало их общую эффективность. Мы также обнаружили, что дополнительная случайность, введенная дифференциальной приватностью, может привести к завышенным или недооцененным результатам, которые трудно сравнить с другими методами. ## Значимость Наши результаты имеют практическое значение для разработчиков, ученых и пользователей, заинтересованных в DPML. Мы подчеркнули важность согласованных методологий и реализаций для правильной оценки техник. Наши выводы могут помочь в повышении надежности результатов и улучшении широкого применения DPML в реальных сценариях. Также мы выделили области, где могут быть проведены дополнительные исследования, например, в разработке новых методов, учитывающих сп

#### Контекст Объяснение решений моделей машинного обучения (post hoc explanation methods), такие как LIME и SHAP, играют ключевую роль в прозрачном использовании моделей. Они позволяют оценивать модели и выявлять возможные биазы. Однако эти методы являются уязвимыми к манипуляциям, которые могут скрыть важные биазы, что приводит к недостаточной прозрачности и ухудшению риска в высокорисковых системах. Исследования Slack et al. (2020) показали, что LIME и SHAP могут быть легко обмануты, что делает необходимым развитие методов, улучшающих их устойчивость к таким атакам. #### Метод Мы разработали модульный фреймворк для тестирования LIME и SHAP с целью исследования их способности обнаруживать биазы в условиях различных моделей. Этот фреймворк позволяет проводить систематические эксперименты с использованием различных моделей, включая out-of-distribution модели, и сравнивать устойчивость LIME и SHAP к biased models. Мы также рассмотрели различные конфигурации LIME и SHAP, например, ensemble и augmented approaches, для оценки их эффективности в условиях атак. #### Результаты Наши эксперименты показали, что некоторые конфигурации LIME и SHAP (например, ensemble approaches) значительно улучшили обнаружение биаз в сравнении с оригинальными методами. Мы также отметили, что некоторые модели, в частности, out-of-distribution, более уязвимы к таким атакам, что делает важной проверку LIME и SHAP на множестве различных моделей. Наши результаты иллюстрируют, как модификации оригинальных методов могут существенно улучшить их прозрачность и безопасность. #### Значимость Наша работа имеет значительное значение для широкого круга приложений, в том числе в системах, где модели используются для принятия важных решений, таких как в системах HR, финансовых системах, юридических системах и здравоохранения. Методы LIME и SHAP, улучшенные нашими рекомендациями, могут обеспечить более точное и надежное объяснение решений моделей, что улучшает возможность выявления и корректировки биазов. Это включает преимущества в прозрачности, безопасности и надежности в высокорисковых системах. #### Выводы Мы демонстрируем, что LIME и SHAP могут быть значительно улучшены с помощью конкретных модификаций, улучшающих их устойчивость к манипуляциям. Наша работа открывает путь для будущих исследований в области улучшения прозрачности и безопасности машинного обучения, в том числе разработки более устойчивых методов post hoc explanation. Мы также призываем к дальнейшим исследованиям в этой области, включая изучение новых атак на LIME и SHAP, а также развитие более сложных методов для обеспечения прозрачности и ценности информации, предоставляемой этими методами.

## Контекст Область исследования машинного обучения (ML) становится всё более центральной в широких технических, экономических и социальных сферах. Однако использование больших данных в ML приводит к значительным вызовам в области защиты данных, в частности в отношении принципа хранения минимальных необходимых данных (Data Minimization, DM). Хранение минимальных данных является одним из ключевых принципов устойчивого и эффективного использования данных, охватывая ряд законодательных актов, включая GDPR (Европейский регламент защиты данных) и CPRA (Право жителей Калифорнии на защиту данных). Несоблюдение этого принципа может привести к существенным регулированию, включая штрафы, достигающие сотен миллионов долларов. В ML, где потребность в больших наборах данных для эффективного обучения моделей является существенной, данный принцип является особенно важным. Таким образом, возникла новая область исследований — Data Minimization in Machine Learning (DMML), которая стремится справиться с данными проблемами. Несогласованность в понимании и применении методов DMML среди практиков делает необходимым развитие унифицированного подхода, чтобы облегчить применение и понимание этих принципов. ## Метод Для решения проблемы несогласованности в понимании и применении методов DMML был разработан унифицированный фреймворк, включающий в себя данное централизированное центром обработки данных. Основной акцент был сделан на развитии методологии, которая позволяет определить точки минимизации в рамках целых процессов по обработке данных. В качестве центрального элемента фреймворка была принята постановка задачи, в которой выделены ключевые моменты, когда данные могут быть минимизированы, включая входные данные, выходные данные и промежуточные метрики. Были также разработаны алгоритмы и аддитивные метрики, которые позволяют измерять эффективность минимизации в различных сценариях. Основной целью было создание модели, которая была бы легко применяемая и понятна для практиков в области ML, независимо от их уровня технического опыта. ## Результаты Для исследования эффективности разработанного фреймворка были проведены несколько экспериментов с использованием различных данных и задач. Были проанализированы сценарии, в которых применение методов DMML приводит к значительным повышениям эффективности и сокращению рисков. Например, в рамках одного из экспериментов был проведен анализ влияния методов минимизации на качество обучения модели, а также на предсказательную способность. Были изучены различные сценарии, включая обучение модели с минимальным набором данных и сравнение показателей с более широким набором дан

## Контекст Обработка и анализ финансовых данных являются ключевыми задачами в современной финансовой сфере. Одним из важнейших аспектов этого анализа является идентификация и оценка финансового риска, который может проявляться в разных формах, включая кредитный, операционный, рыночный и другие виды рисков. Одним из трудных аспектов этой задачи является то, что финансовые данные часто распределены между различными институтами, и выявление риска требует кооперативной работы между этими организациями. Однако данные, связанные с финансовыми операциями, являются чрезвычайно чувствительными к конфиденциальности, и их раскрытие может привести к серьезным последствиям для всех участников. Традиционные подходы, такие как централизованный анализ, требуют сбора данных в одной точке, что не только создает проблемы со стороны безопасности, но и может привести к ограничению скорости и эффективности анализа. Недавние развития в области машинного обучения позволили рассмотреть альтернативные подходы, основанные на методах федеративного обучения, которые позволяют объединять модели без передачи чувствительных данных. На этом фоне моделирование и определение финансового риска при помощи федеративного обучения является простой, актуальной и востребованной задачей. ## Метод Предложенная модель основывается на федеративном обучении и использует механизм присутствия признаков (feature attention) и моделирование временных зависимостей (temporal modeling). Каждая финансовая организация остается владельцем своих данных и обучает собственный локальный подмодель, решая задачу оптимизации в рамках своего домена. Для сохранения конфиденциальности данных используется дифференциальная частная связь (differential privacy) и метод шумовой инъекции (noise injection), которые защищают параметры модели от внешних опасностей. После того, как каждая организация обучает свой подмодель, параметры этих моделей отправляются на центральный сервер, где они агрегируются для создания глобальной модели. Этот метод позволяет объединить модели от разных участников без раскрытия индивидуальных данных. Федеративная модель используется для определения финансового риска на уровне системы, а также для выявления рисков в разных международных рынках. Эта модель позволяет улучшить как локальные, так и системные модели, обеспечив более точный и систематический анализ. ## Результаты Набор экспериментов был проведен на многочисленных финансовых данных, чтобы проверить эффективность предложенного подхода. Эксперименты включали оценку коммуникационной эффективности, точности моделирования, обнаружения финансового риска и кросс-рыно

## Контекст Современные кибератаки на критические инфраструктуры, такие как водоочистные станции, становятся все более сложными и опасными. Эти атаки могут привести к серьезным последствиям, в том числе к повреждению оборудования, загрязнению источников питьевой воды и угрозам для жизни и здоровья людей. Однако существующие методы обнаружения аномалий, такие как статистические, диапазонно-ориентированные и графо-ориентированные модели, сталкиваются с рядом проблем. Они становятся менее эффективными при изменении статистических характеристик данных (distribution shifts) или при балансировке классов (class imbalance). Эти проблемы приводят к высокому количеству ложноположительных ответов, что снижает доверие к результатам. Наша мотивация заключается в разработке более надежного подхода к обнаружению аномалий, который мог бы учитывать как системные уязвимости, так и изменяющиеся паттерны кибератак. ## Метод Мы предлагаем CGAD (Causal Graph-based Anomaly Detection) — рамоство, основанное на профилировании казуальных графов и оценке структурного различия. CGAD работает в двух фазах: 1. **Профилирование казуальных графов**: Мы используем Dynamic Bayesian Networks (DBN) для узнавания траекторий поведения системы в "нормальных" и "атаке" состояниях. Это позволяет выделить инвариантные структуры, которые отражают природу системы. 2. **Оценка структурного различия**: Во второй фазе мы сравниваем графы во временном ряду с помощью меры структурной дивергенции. Эта мера позволяет выявить потенциальные аномалии, основываясь на топологических отклонениях в графе. Важно, что наш подход адаптируется к нестационарным и несбалансированным многомерным рядам временных данных, которые характерны для критических инфраструктур. ## Результаты Мы проверили нашу модель на четырёх промышленных данных, включая данные по водоочистке, энергетике и связи. CGAD показал высокую точность в обнаружении аномалий, существенно превосходя лучшие существующие методы в тестах F1 и ROC-AUC. Особенно заметное преимущество замечается при обнаружении сложных и задержанных аномалий, которые традиционные модели часто пропускают. Например, на Water Distribution Benchmark (WADI), наша модель показала F1-score 0.85 в сравнении с 0.72 у базовых моделей. ## Значимость CGAD может применяться в различных сферах, где защита от кибератак критична, включая городские системы, энергетику и промышленные процессы. Его основные преимущества заключаются в высокой точности, устойчивости к нестационарности данных и эффективности при работе с несбалансированными классами. Мы считаем, что наш подход может пере

#### Контекст Современные сети подвергаются постоянным угрозам в виде ин INTRUSION DETECTION SYSTEM (IDS), целью которых является снижение рисков уязвимостей, используя глубокое обучение. Однако существуют проблемы, связанные с защитой конфиденциальных данных и эффективным обучением моделей в федеративных средах. Недостаток эффективных IDS, оптимизированных для федеративного обучения, является основной мотивацией для разработки FetFIDS. Эта модель призвана повысить достоверность иных систем, обеспечив при этом конфиденциальность данных и улучшение производительности. #### Метод FetFIDS основывается на трансформерной архитектуре с использованием **Feature Embedding Attention** вместо **Positional Encoding**. Это позволяет модели лучше учитывать взаимосвязи между фичами, улучшая вклад каждой из них в прогноз. Модель обучается в федеративной среде с несколькими узлами, каждый из которых обрабатывает локальные данные. Таким образом, FetFIDS обеспечивает конфиденциальность, эффективность и высокую точность в детекции аномалий. #### Результаты В экспериментах были использованы данные **CICIDS2017** и **NSL-KDD**. FetFIDS показала значительные улучшения в F1-меру и ROC-AUC по сравнению с состоянием принципа (SOTA) в федеративной среде. Особенно выдающиеся результаты удалось получить при обучении на небольших данных, что демонстрирует гибкость модели в режиме edge learning. #### Значимость FetFIDS может применяться в различных сферах, таких как банковские системы, здравоохранение и Интернет вещей. Основное преимущество заключается в более высокой точности детекции, эффективной обработке данных в федеративных средах и улучшенной защите личных данных. #### Выводы FetFIDS доказала свою эффективность в федеративном обучении и показала высокую точность в детекции аномалий. Будущие исследования будут сконцентрированы на улучшении модели для масштабирования и её применении в более сложных сетевых средах.

#### Контекст Децентрализованная минимакс-оптимизация представляет собой мощный подход для решения взаимодействующих многоагентных систем. Она позволяет агентам обмениваться модельными обновлениями для решения глобальных проблем минимакс-оптимизации без необходимости доверять центральному серверу. Однако этот подход не без проблем. Взаимодействие между агентами может повлечь за собой раскрытие чувствительных данных в результате нежелательных взаимодействий, что приводит к повышению риска информационных атак. Это влечет за собой критические вопросы безопасности и соблюдения приватности. Наряду с этим, развитие машинного обучения в сложных ненормальных ситуациях влечет за собой новые вопросы использования методов, которые могут способствовать улучшенному соотношению производительности и чувствительности. Эти факторы мотивируют глубокое исследование новых методов, которые могут оптимизировать сочетание эффективности и приватности в системах минимакс-оптимизации. #### Метод Мы предлагаем DPMixSGD (Differential Private Minmax Hybrid Stochastic Gradient Descent), алгоритм, который модифицирует стандартный градиентный спуск, добавляя дифференциальную приватность к локальным градиентам. Наш метод основывается на STORM-based algorithm, который является одним из наиболее эффективных вариантов для децентрализованных задач минимакс-оптимизации. DPMixSGD использует гибридный подход, который сочетает шумное сглаживание градиентов с адаптивным методом для поддержания глобальной сходимости. Мы выполнили тщательную аналитическую модель, доказав, что при добавлении уровня шума, необходимого для достижения дифференциальной приватности, модель сохраняет почти тот же уровень точности и сходимости, чем в алгоритме без шума. Также мы реализовали концепцию "минимакс-оптимизации" в системе, которая продемонстрировала способность быстро решать глобальные минимакс-задачи, даже при условии сложной интерактивности агентов. #### Результаты Мы проверили эффективность DPMixSGD на широком спектре задач минимакс-оптимизации, включая задачи сложной интерактивности, такие как задачи обнаружения изображений в условиях шума и задачи регрессии в сетях нейронных сетей. Наши эксперименты показали, что DPMixSGD не только сохраняет высокую точность решения, но и подтверждает гарантии достаточной приватности данных. Мы также провели сравнительные эксперименты с другими алгоритмами, такими как DPSGD и SGD, и показали, что DPMixSGD превосходит их в скорости и точности решения. Результаты показали, что DPMixSGD может обеспечить достаточный уровень приватности, не существенно замедляя процесс решения задач.

Эксплуатация персональных данных для злоупотребления идентичностью остается значительной угрозой, но многие подходы к оценке риска не могут точно прогнозировать связи между различными типами личной информации. Данная работа предлагает исследовать эти связи с помощью конструирования Identity Ecosystem graph — графа, где узлы представляют собой атрибуты личной информации, а ребра — вероятности их разглашения друг другу. На основе данных, полученных из более чем 5000 случаев мошенничества, разработана модель, использующая теорию графов и графные нейронные сети для предсказания вероятности разглашения отдельных атрибутов в присутствии других. Результаты показывают, что этот подход эффективно может оценить возможность раскрытия личных данных и принять меры к их защите, основываясь на научном понимании риска.

Экспоненциальный рост Интернета вещей (IoT) привел к возникновению серьезных проблем безопасности, когда IoT-сети стали основной целью кибератак. В данном исследовании рассматривается потенциал сетей Колмогорова-Арнольда (Kolmogorov-Arnold Networks, KANs) как альтернативы традиционным моделям глубокого обучения для обнаружения вторжений в IoT-сетях. Авторы продемонстрировали, что KANs, использующие штурмовые активационные функции, превосходят традиционные MLP и достигают точности, сравнимой с такими современными моделями, как Random Forest и XGBoost. Особенностью KANs является их высокая интерпретируемость, что делает их привлекательными для применения в задачах обнаружения вторжений в IoT. Этот подход может стать ключевым решением для повышения безопасности в этих сетях.

**Резюме** В статье предлагается гипотеза, что один токсичный образец (ползунковый пример), обучающийся с помощью малой информации о данных, может инъектировать уязвимость в машинное обучение, не повлияв на благонадежность базовой задачи. Основной инновацией является доказательство того, что это возможно в моделях линейной регрессии и классификации. Теоретический подход основывается на статистических моделях запутанного обучения, позволяя понять, что в некоторых случаях можно обойтись одним зараженным образцом без существенных побочных эффектов. Экспериментальное подтверждение проводится на реальных бенчмарк-датасетах. Эта работа открывает новые пути к изучению уязвимостей в машинном обучении и может помочь в создании более устойчивых моделей.