#### Контекст Federated Learning (FL) является продвинутой методологией распределенного машинного обучения, позволяющей обучать модели на распределенных данных без нарушения конфиденциальности. Однако, FL сталкивается с рядом существенных проблем. Во-первых, не все устройства могут обучать одинаковые модели из-за различий в бизнес-требованиях и ресурсах вычислений. Во-вторых, статистическая неоднородность (non-IID data) становится ключевым фактором, который снижает качество глобальной модели. В-третьих, необходимо разработать экономичный и эффективный механизм поощрения, чтобы стимулировать участие клиентов в процессе обучения. В этой статье предлагается набор методологий для решения этих проблем. #### Метод Мы предлагаем три основных подхода: DL-SH, DL-MH и I-DL-MH. - **DL-SH (Distributed Learning with Shared Models):** Это методология, ориентированная на эффективное обучение в условиях статистической неоднородности. Она использует упрощенные модели и методы эффективной связи, что позволяет значительно сократить объем передаваемых данных и поддерживать конфиденциальность. - **DL-MH (Distributed Learning with Heterogeneous Models):** Данный подход рассчитан на полностью неоднородные модели, позволяя учесть различия в моделях клиентов. Он использует гибкие механизмы адаптации и взаимодействия для эффективного обучения в условиях статистической неоднородности. - **I-DL-MH (Incentive-Based Distributed Learning with Heterogeneous Models):** Это расширение DL-MH, включающее систему поощрений для клиентов. Он мотивирует участие в обучении FL путем предоставления экономичных и функциональных выгод. Методы были спроектированы, используя архитектуры сверточных и трансформерных моделей, а также технологии обеспечения приватности данных. Для тестирования использовались несколько датасетов (такие как MNIST, CIFAR-10), различные сценарии распределения данных (IID и несколько видов non-IID), а также различные варианты моделей. #### Результаты Проведенные эксперименты показали выдающиеся результаты. DL-SH улучшил точность глобальной модели на 153% в сравнении с традиционными методами, а DL-MH повысил точность на 180% при высокой статистической неоднородности. Инновационный подход I-DL-MH дал значительный прирост в точности — 225% при неоднородных данных, при этом снизив стоимость связи и улучшив удовлетворенность клиентов. #### Значимость Наша работа имеет широкие приложения в области децентрализованного машинного обучения, где требуется эффективность, конфиденциальность и стимулирование участия клиентов. Основные преимущества: - Улучшенная точность глобальной модели в условиях non-IID данных. - Значительное сокращение нак

## Контекст Generative models часто рассматривают континуумные данные и дискретные события как раздельные процессы, что создает проблемы при моделировании систем, где эти процессы синхронно взаимодействуют. Это недостаток особенно чувствительен в области моделирования многоагентных систем, таких как спортивные мероприятия. Для того чтобы устранить этот пробел, предлагается JointDiff, новая рамочная модель, которая сочетает в себе два процесса в едином фреймворке. Она может одновременно генерировать континуумные спатио-темпоральные данные и дискретные события, обеспечивая более реалистичную и контролируемую генерацию. ## Метод JointDiff основывается на фреймворке распространения (diffusion framework). Он добавляет дискретные события в процесс распространения, который обычно ограничивается только континуумными данными. Для ускорения адаптации распространения для дискретных событий, был предложен CrossGuid, новый метод условной обработки в многоагентных системах. Это позволяет управлять процессом генерирования, внедряя гибкость в семантику динамики игры или других систем, где взаимодействуют множество агентов. ## Результаты За счет использования модели JointDiff был проведен валидационный эксперимент на данных из спортивных дисциплин, в частности, футболе и футболе американского типа. Данные были дополнены текстовыми описаниями, чтобы добиться более точной интерпретации дискретных событий. Модель показала себя эффективно в обоих сценариях: неуправляемой генерации и двух управляемых сценариях – "поддержка определенного агента" (weak-possessor-guidance) и "текстовая генерация" (text-guidance). Эти результаты доказали, что сочетание континуумных и дискретных процессов позволяет получить более реалистичные и управляемые модели. ## Значимость JointDiff может быть применено в различных областях, где необходимо моделировать системы с множеством агентов, взаимодействующих в синхронной среде. Например, в спортивных системах, игровых системах, прогнозировании динамики массовых мероприятий. Новая модель предоставляет более сильную гибкость в управлении системой, чем существующие подходы. Это открывает путь к созданию более реалистичных и контролируемых генеративных моделей для интерактивных систем. ## Выводы Результаты доказывают, что JointDiff является перспективным подходом для моделирования многоагентных систем. Будущие исследования будут сфокусированы на расширении модели для других сфер, включая медицинские системы, производственные процессы и другие приложения, где комбинация континуумных и дискретных процессов является ключевым моментом.

## Контекст Фронтенд-разработка — это сфера, в которой создаются пользовательские интерфейсы и взаимодействия для веб-и мобильных приложений. Одна из ключевых проблем в этой области — обеспечение пользовательского опыта, который был бы доступен, интуитивно понятным и эффективным во всех браузерах и устройствах. Несмотря на развитие технологий, возникают проблемы с совместимостью, производительностью и доступностью. Это мотивирует исследователей и разработчиков разрабатывать новые методы и инструменты для улучшения качества фронтенд-разработки. ## Метод Предлагаемый подход строится на основе нескольких ключевых компонентов. Во-первых, используется методика **робости-гидованной классовой регулировки**, которая адаптирует веса задач для разнородных классов, учитывая их уровень устойчивости. Во-вторых, **генерация дополнительных данных** для улучшения обучения. Это достигается с помощью **Fairness-Aware Examples (FAEs)**, которые применяют функциональное ограничение на уровне признаков для стимулирования более устойчивых и равноправных представлений. Затем, **Uniform-Target Adversarial Examples (UTAEs)** позволяют распределить атаки по всем классам, избегая сильного фокусирования на конкретных проблемных классов. Эти элементы объединены в новую Fairness-Enhanced Data-Free Robustness Distillation (FERD) структуру. ## Результаты Исследования проводились на трех общедоступных датасетах: CIFAR-10, CIFAR-100 и ImageNet. Оценки производилось по метрикам, таким как **worst-class robustness** (наихудшая устойчивость к атакам для каждого класса) и **average robustness** (средняя устойчивость). Результаты показали, что FERD существенно превосходит существующие методы в области **data-free robustness distillation**. Например, на CIFAR-10 с использованием MobileNet-V2, FERD улучшила worst-class robustness на 15.1% при использовании FGSM и на 6.4% при использовании AutoAttack. Эти результаты указывают на эффективность FERD в обеспечении более сбалансированной и равноправной устойчивости. ## Значимость FERD может применяться в различных областях, где необходима устойчивая и справедливая работа моделей, таких как безопасность информации, онлайн-услуги и системы рекомендаций. Одним из основных преимуществ является улучшение **robust fairness**, что позволяет избежать дискриминации в работе моделей по отношению к различным классам данных. Этот подход может способствовать развитию более честных и доступных систем, укрепляя доверие пользователей. ## Выводы FERD представляет собой новую модель для **data-free robustness distillation**, которая стабильно улучшает устойчивость моделей, а также гарантирует равенство во влиянии между классами. Будущие исследования будут направлены на у

## Контекст Турбулентность — одна из самых сложных и исследовательских задач в области научных вычислений. Она играет ключевую роль в различных приложениях, включая моделирование климата, динамику жидкостей, энергетические системы и аэроспециальный дизайн. Однако получение точных прогнозов длительной турбулентности остается вызовом, особенно в долгосрочной перспективе. Нейронные операторы, широко используемые в задачах определения операторов, часто страдают от ошибок, накапливающихся со временем, и недостаточной физической точностью в долгосрочных прогнозах. Эти проблемы возникают из-за неэффективного моделирования сложной динамики турбулентности, включающей в себя как локальные диффузионные эффекты, так и глобальные корреляции. В связи с этим возникает необходимость разработки более стабильных и точных методов, чтобы повысить точность прогнозов в этой области. ## Метод Мы предлагаем **Differential-Integral Neural Operator** (\method{}) — новую архитектуру, основанную на первоосновном подходе декомпозиции операторов. Архитектура \method{} включает два параллельных модуля: **локальный дифференциальный оператор** и **глобальный интегральный оператор**. Локальный оператор использует ограниченную свертку для точного вычисления производных, предоставляя локальную гармоническую часть динамики. Глобальный интегральный оператор основан на трансформере, который учится глобальной структуре данных, представляя глобальную нелокальную часть динамики. Эта декомпозиция позволяет \method{} эффективно моделировать обе стороны динамики турбулентности, обеспечивая устойчивость и точность в прогнозировании. ## Результаты Мы оценили \method{} на задаче 2D Kolmogorov flow, популярной стандартной задачей для оценки моделей прогнозирования турбулентности. Эксперименты показали, что \method{} значительно повышает точность прогнозов по сравнению с современными моделями, такими как Fourier Neural Operator (FNO) и其他. Мы провели тесты для прогнозов в течение ста timesteps, показав, что \method{} значительно сокращает ошибки накапливаемые с течением времени. Более того, \method{} сохраняет высокую точность в полях вихря и спектрах энергии, обеспечивая физическую консистентность и реалистичность прогноза. ## Значимость Результаты \method{} имеют широкие практические применения. Он может использоваться в моделировании климата, системах движения жидкости, аэродинамике и других областях, где точный долгосрочный прогноз турбулентности критичен. В отличие от существующих моделей, \method{} обеспечивает повышение точности и стабильность, устраняя проблемы с накоплением ошибок. Этот подхо

## Контекст Проблема неодинаковой устойчивости моделей к атакам по-прежнему остается одной из наиболее актуальных в области м MАСИ. Данные-бесплатные методы, такие как Data-Free Robustness Distillation (DFRD), предлагают трансфер неустойчивости с теACHER-модели на STUDENT-модель без доступа к исходным данным. Однако существующие подходы к DFRD предпочитают увеличение общей устойчивости модели, не уделяя внимания разногласиям в устойчивости для разных классов. Такая неравенство может привести к недопустимому расхождению в устойчивости между классами, что является ключевой проблемой для DFRD. ## Метод FERD (Fairness-Enhanced Data-Free Robustness Distillation) — это новая архитектура, призванная устранить проблему неодинаковой устойчивости моделей к атакам. FERD ориентируется на проблемы с неравномерным распределением устойчивости по классам и нестабильной устойчивости в отношении вариантов атак. Два основных подхода решения: (1) **robustness-guided class reweighting**, который увеличивает пропорцию синтезированных данных для менее устойчивых классов, и (2) **Fairness-Aware Examples (FAEs) и Uniform-Target Adversarial Examples (UTAEs)**, которые распределяют атаки по всем классам и предотвращают склонность к устойчивости к определенным классам. ## Результаты FERD был проверен на трех открытых датасетах (CIFAR-10, CIFAR-100, Tiny-ImageNet). Он показал стабильное улучшение устойчивости самых уязвимых классов по сравнению со существующими DFRD-методами. Например, на датасете CIFAR-10 с MobileNet-V2, FERD увеличил минимальную устойчивость к атаке FGSM и AutoAttack на 15.1% и 6.4% соответственно. Эти результаты демонстрируют значительное улучшение не только уровня устойчивости, но и обеспечения справедливости при распределении устойчивости по разным классам. ## Значимость FERD может быть применен в ситуациях, где необходимо обеспечить высокую устойчивость моделей к атакам без доступа к данным, в том числе в сценариях, где классы требуют равноправия в устойчивости. Он предоставляет существенные преимущества в области обеспечения справедливости в моделях и улучшении характеристик распределения устойчивости. В будущем, FERD может быть доработан для поддержки более сложных атак и увеличения его гибкости в разных задачах. ## Выводы FERD представляет собой первый подход к Fairness-Enhanced Data-Free Robustness Distillation, который успешно устраняет проблему неодинаковой устойчивости моделей к атакам. Он демонстрирует значительное улучшение уровня устойчивости, особенно в сравнении с существующими DFRD-методами. Будущие исследования будут направлены на улучшение FERD для поддержки более сложных атак, а также на расширение его полезности в раз

#### Контекст Нейронные сети показывают выдающиеся результаты в задачах классификации изображений, однако остаются значительно уязвимы к атакам, использующим адверсарные примеры. Эти примеры — маленькие, незаметные для человека изменения входных данных — могут вывести сеть с дальнейшей стороны. Одним из потенциальных способов улучшить устойчивость является использование линейных методов димениентального сокращения. Наша работа фокусируется на сравнении стандартной главной компонентной анализа (PCA) с её ужей вариантом (SPCA) в качестве компонентов функций для последующей классификации. Мы также проводим теоретический анализ, который помогает понять, почему спарсинг может улучшить устойчивость. #### Метод Мы использовали широкий спектр экспериментальных и теоретических подходов. На практике, мы сравнили PCA и SPCA в качестве функций входных данных для нейросетевых классификаторов. Опытные исследования включали в себя атаки с использованием гладких и шумных целевых моделей. Теоретический анализ охватил общий механизм, подтверждающий, что спарсинг уменьшает критическую легкость входных примеров. Мы также предложили новую математическую модель для оценки устойчивости к адверсарным примерам в системах с нелинейными слоями. Наши эксперименты проводились на нескольких открытых датасетах, включая CIFAR-10 и ImageNet. #### Результаты Наши эксперименты показали, что SPCA постоянно демонстрирует более высокую устойчивость по сравнению с PCA в ситуациях, когда атаки были сильными и цель видима (white-box) или невидима (black-box). SPCA предоставила большую устойчивость, не теряя в чистых классификационных результатах. Теоретический анализ подтвердил, что SPCA сокращает нормы операторов, что предсказывает меньшую возможность для атак. Мы также проверили, что эти преимущества сохраняются при использовании нелинейных слоев после проекции. #### Значимость Наши результаты могут быть применимы в области безопасности нейросетевых моделей. SPCA предоставляет значительные преимущества в улучшении устойчивости к адверсарным атакам, при этом сохраняя высокую точность по чистым данным. Это делает SPCA полезной для задач, где уровень безопасности критичен, например, в рамках систем автоматического управления или защиты системных ресурсов. #### Выводы Мы продемонстрировали, что спарсинг может значительно улучшить устойчивость нейросетевых моделей к адверсарным атакам. Наши теоретические результаты и экспериментальные результаты подтвердили то, что SPCA позволяет снизить риск атак, сохраняя вы

## Контекст Машинное неучение (machine unlearning) — это процесс удаления конкретного знания из обученного модели. Диффузионные модели (DMs), получившие огромное признание благодаря своим выдающимся генерирующим потенциалом, часто используются в задачах текст-на-изображение (T2I). Однако, некоторые методы неучения для таких моделей опираются на минимизацию квадрата отклонения (MSE) между распределением выходов модели и концепциональным анкором. Мы доказываем, что этот подход является частным случаем более широкого фреймворка, основанного на $f$-дивергенциях, который может использовать любую $f$-дивергенцию. Мы изучаем преимущества различных $f$-дивергенций, которые влияют на свойства сходимости алгоритма и качество неучения. Предлагаемый фреймворк предлагает гибкий подход для выбора оптимальной $f$-дивергенции в зависимости от конкретной задачи, достигая баланса между агрессивным неучением и сохранением концепций. ## Метод Мы предлагаем $f$-дивергенция-ориентированный фреймворк для неучения в диффузионных моделях. Метод основывается на изменении дистрибуции генерируемых моделью изображений, чтобы свести к минимуму $f$-дивергенцию между распределением целевого изображения (target) и анкорного (anchor). Мы исследуем свойства различных $f$-дивергенций, таких как центральное лимутированное $f$-дивергенция (Cauchy), логарифмическая $f$-дивергенция (Log) и др. Для каждой из этих $f$-дивергенций мы определяем специфику обновления модели, чтобы добиться эффективного неучения, сохранив при этом качество генерации. Метод может быть адаптирован для различных $f$-дивергенций, что дает многообразие возможностей для решения конкретных задач неучения. ## Результаты Мы проводили эксперименты с использованием нескольких $f$-дивергенций в рамках предложенного фреймворка. Для сравнения выбраны различные тексто-в-изображение модели (T2I) с разным количеством параметров и архитектурами. Мы измеряли качество неучения по метрикам, таким как $f$-дивергенция между распределениями изображений до и после неучения, а также по изменению рандомизации модели. Результаты показали, что использование $f$-дивергенций, таких как Log и Cauchy, приводит к более эффективному неучению с меньшим потери качества генерации. Метод показал себя эффективнее в сравнении с MSE-ориентированным подходом, особенно при неучении с целевыми концепциями, требующими точного удаления. ## Значимость Предложенный фреймворк имеет широкое применение в сценариях, где необходимо удалять конкретные концепции из обученных диффузионных моделей, например, в ситуациях соблюдения конфи

## Контекст Точное предсказание длительного течения турбулентности представляет серьезный вызов в области вычислительной механики и является ключевым фактором для многих приложений, включая моделирование климата и инженерию в сфере аэрокосмической промышленности. Несмотря на прогресс в глубоком обучении, существующие модели, особенно ноу-нейронные операторы, часто сталкиваются с проблемами, такими как сбой в длительных авторегрессивных прогнозах из-за аккумуляции ошибок и убывания физической точности. Эти проблемы возникают из-за невозможности этих моделей эффективно локальные (дифференциальные) и глобальные (интегральные) структуры турбулентности одновременно учитывать. ## Метод Мы предлагаем **Differential-Integral Neural Operator (DINO)**, новую модель, которая основывается на принципе декомпозиции оператора. Модель состоит из двух параллельных модулей: 1. **Локальный дифференциальный модуль** — реализован через ограниченную конvolutionную сеть, которая гарантированно подходит для вычисления производных. 2. **Глобальный интегральный модуль** — основан на трансформере, который выделяет и учитывает глобальные взаимодействия в данных. Эта физически обоснованная декомпозиция обеспечивает модели высокую стабильность и надёжность в трудных задачах многошагового прогнозирования. ## Результаты Мы проверили DINO на задаче 2D Kolmogorov flow, значительно опередив существующие модели по точности и выносливости в длительном прогнозировании. Модель существенно снижает аккумуляцию ошибок на протяжении сотен шагов времени, сохраняет высокую точность в полях вихревой силы и энергетических спектрах. Эти результаты устанавливают новый золотой стандарт для физически консистентных прогнозов турбулентности. ## Значимость Наша модель находит применение в области климатических моделей, космической инженерии и динамики жидкостей. Она обеспечивает более точные и долгосрочные прогнозы, уменьшая необходимость частых коррекций. Будущие исследования будут направлены на расширение модели для трёхмерных сценариев и улучшение её возможностей в сложных средах. ## Выводы Мы представили DINO — первую модель, которая эффективно объединяет дифференциальные и интегральные структуры в турбулентных динамиках. Результаты экспериментов показывают высокую эффективность модели в трудных задачах длительного прогнозирования. Наше декомпозиционное подход решает ключевые проблемы существующих моделей и открывает новые горизонты для физически точных и стабильных прогнозов в сложных системах.

## Контекст Область исследования связана с развитием методов кластеризации для решения проблем, возникающих при использовании традиционных подходов. Традиционные методы кластеризации основываются на сходстве входных данных, ограничивая способность поймать структурные и семантические характеристики, которые крайне важны во многих прикладных областях. Недостаток этих методов приводит к моделям, которые либо неточны в понимании семантики данных, либо неэффективны в некоторых прикладных задачах. Эти проблемы мотивируют разработку более рациональных подходов, которые могут учитывать дополнительные знания о домене и автоматически включать их в процесс кластеризации. ## Метод Для решения вышеуказанных проблем предлагается новая методология, которая интегрирует правила домена в процесс обучения. Фреймворк, названный Domain Aware Rule Triggered Variational Autoencoder (DARTVAE), является правило-ориентированным многомодальным фреймворком кластеризации. Он включает в себя доменные консервативные ограничения непосредственно в процессе вывода представления. DARTVAE продвигает архитектуру VAE, включив в нее правила домена, семантические представления и данные в единую латентную плоскость. Для соблюдения этих правил включена функция потерь, которая включает в себя меру реконструкции, дивергенцию Кульбака-Лейблера, согласованность и нарушения правил. Это отличает DARTVAE от других методов, которые либо игнорируют правила во время обучения, либо применяют их как пост-обработку. В DARTVAE правила становятся первостепенными сигналами обучения, что позволяет декодировать более оперативно интерпретируемые кластеры. ## Результаты Эксперименты проводились на данных с высокой разнообразием по применениям, в том числе с данными об авиационных технологиях и автомобильных технологиях. Результаты показали, что DARTVAE позволяет создавать более оперативно понятные кластеры. Например, он может отделять летательные аппараты без наблюдателя (UAVs), объединять воедино самолеты с пониженным радиовозможностью (stealth aircraft) и разделять кроссоверы (SUVs) от седанов. Эти результаты не только соответствуют оперативным потребностям, но и повышают метрики кластеризации, которые обычно используются для оценки качества. Однако DARTVAE имеет некоторые ограничения. Например, генерируемые с помощью Лангуажных Моделей (LLMs) правила могут быть неточными или противоречивыми, что может повлиять на качество кластеризации. Кроме того, слишком много правил может привести к переобучению модели. Несмотря на это, DARTVAE показывает сильные результаты в области кластеризации, где требуется глубокое понимание домена. ## Значимость DARTVAE может бы

#### Контекст Генерация высококачественных синтетических рядов временных данных является ключевым, но сложным заданием в области прогнозирования и обнаружения аномалий. Большинство реальных рядов данных ограничены в размере, содержат шум или трудно получить из-за высокой стоимости сбора. Отдельно следует отметить, что статическая генерация данных отличается от генерации временных рядов. В последнем случае необходимо моделировать не только распределение наблюдений в каждый момент времени, но и последовательные зависимости в данных. Из-за этих характеристик генерация временных рядов является задачей, требующей особого подхода. #### Метод Предлагаемый TIMED-фреймворк сочетает в себе несколько компонентов, чтобы лучше учитывать различные аспекты временных рядов. Основной компонент — это диффузионная проблема восстановления (DDPM), которая использует процесс диффузии для моделирования глобального структурного распределения данных. Кроме того, в TIMED включена авторегрессионная модель, которая оптимизирует моделирование на основе следующей точки в последовательности. Для расширения представимости и улучшения качества генерации включена методика MMD (Maximum Mean Discrepancy), которая применяет меру расстояния как между распределениями реальных и синтетических рядов. Для повышения сглаживания и улучшения бытовости данных в TIMED также реализована адверсарная сеть, обеспечивающая адверсарное обучение и сглаживание последовательностей временных значений. Эти компоненты обучаются вместе в единой системе, чтобы обеспечить объединенную модель генерации временных рядов. #### Результаты Результаты экспериментов проведены на различных многомерных бенчмарках временных рядов. TIMED-модель показала существенное превосходство по сравнению с другими современными моделями генерации временных рядов. Было продемонстрировано, что TIMED генерирует ряды, которые более реалистичны, содержат более четкие последовательности и имеют более высокий уровень гармоничности с распределением реальных данных. Такие результаты указывают на эффективность TIMED в моделировании как независимых, так и зависимых аспектов временных рядов. #### Значимость TIMED может быть применен в различных областях, включая прогнозирование, анализ данных и аномалий в временных рядах. Одним из основных преимуществ TIMED является его способность сгенерировать высококачественные, близкие к реальным рядам данных, что может существенно повысить точность моделей в задачах прогнозирования и обнаружения аномалий. Это может привести к значительным улучшениям во многих приложениях, таких как мониторинг, бизнес-аналитика и техническо