## Контекст Federated learning (FL) широко применяется в сферах, где крайне важно обеспечить конфиденциальность данных, например, в медицине. Однако в таких системах возникает статистическая гомогенность: данные, сборенные различными узлами (например, разных больницах), существенно различаются. Традиционные методы FL фокусируются на суммировании моделей от всех узлов, но не оптимально используют потенциал центрального сервера. Возникает вопрос: а не мог бы сервер не только обучать модель, но и активно направлять новых запросов к тем узлам, которые лучше всего подходят для их решения? Мотивированные этой идеей, авторы предлагают новую модель FL, где сервер активно управляет потоком задач, направляя их к наиболее подходящим клиентам. Эта идея основывается на сценарии медицины: при поступлении нового пациента сервер может рекомендовать ему самую подходящую больницу, оснащённую для решения его конкретной проблемы. Таким образом, FL становится не только системой для обучения, но и интеллектуальной системой управления ресурсами. ## Метод Предлагаемая модель основывается на использовании концепции правдоподобия задачи. Центральный сервер не только обучает модели узлов, но и научится прогнозировать, какой узел лучше всего сможет решить конкретную задачу. Для этого используется распределение локальных моделей и задач в сети, чтобы найти точное соответствие между запросом и клиентом. Архитектура включает в себя два основных компонента: моделирование локальных моделей на каждом узле и расчёт правдоподобия, чтобы определить наиболее подходящий клиент для нового запроса. Это позволяет системе не только обучать модели, но и эффективно управлять ресурсами в сети. Такой подход значительно увеличивает точность работы системы и позволяет использовать FL в сценариях, где необходимы быстрые и точные решения. ## Результаты В экспериментах авторы использовали стандартные датасеты для FL (такие как CIFAR-10 и FMNIST), чтобы протестировать свой подход. Результаты показали, что новая модель не только улучшает точность моделей узлов, но и повышает точность управления задачами. Так, например, на датасете CIFAR-10 система показала значительное улучшение в точности моделей по сравнению с традиционными подходами FL. Это не только подтверждает эффективность метода, но и демонстрирует его применимость в реальных сценариях, где требуется оптимальное использование ресурсов и быстрая реакция на запросы. ## Значимость Новая модель предлагает широкие области применения в сферах, где необходимо эффективно управлять ресурсами и быстро реагировать на запросы. Например, в м

## Контекст Federated Learning (FL) является важной концепцией в области машинного обучения, позволяющей обучать модели на распределенных данных, сохраняя при этом приватность и безопасность. Однако в сферах, таких как медицина, FL сталкивается с несколькими вызовами. Несбалансированные, нестандаризированные (non-IID) данные и нестабильность участников являются значимыми проблемами, подвергающими FL риску неточности и неустойчивости. Безотказные атаки, такие как подделка данных или "ложное обучение", также становятся возможными в таких системах. Из-за этих особенностей, создание системы FL, которая обеспечивает доверие, справедливость и эффективность, является ключевым положением для успешного применения в сфере здравоохранения. ## Метод FedFiTS (Fitness-Selected, Slotted Client Scheduling) является продолжением линии FedFaSt, но имеет особый фокус на доверии и справедливости. Методология FedFiTS основывается на трех-фазной стратегии: свободное обучение, естественное отбор при помощи фитнеса, и слот-агрегация с участием групп. Фитнес-подбор выбирает клиентов на основе их контрибьюции к общему развитию модели, скрывая таким образом нестабильных участников. Динамический клиентский счет и адаптивный порог используются для улучшения конвергенции. Наконец, участники группируются в "слоты" для эффективной связи. Конвергентная аналитика FedFiTS проверена в области как convex, так и non-convex целей. ## Результаты Результаты экспериментов FedFiTS показали его превосходство над классическим FedAvg, FedRand и FedPow в тестах на аккуратность, время до настройки модели, и устойчивость к атакам. В частности, на данных пневмонии из медицинских изображений (X-ray), классических по силу знака (MNIST, FMNIST) и агро-данных (Crop Recommendation), FedFiTS показал самые высокие результаты в точности и скорости обучения. Также, FedFiTS демонстрирует высокую устойчивость к типичным атакам, таким как подделка данных или систематическая дискредитация агентов. ## Значимость FedFiTS может быть применен в многочисленных областях здравоохранения, включая распознавание изображений, анализ данных геномов, и системы рекомендаций в агрономии. Его главные преимущества заключаются в более эффективном использовании ресурсов и улучшении доверия в системах FL. Это может привести к более точным моделям в сфере здравоохранения, что повысит качество и быстроту выбора решений в критических ситуациях. FedFiTS также может быть расширен для использования в других нестабильных FL-системах. ## Выводы FedFiTS показал свою эффективность в трех основных областях: доверие, справедливость и эффективность. Он п

## Контекст Federated learning (FL) является важной технологией для обучения моделей на данных, распределенных по множеству устройств или клиентов, не требуя передачи их в центральную точку. Однако практическое применение FL сталкивается с несколькими вызовами. Одним из них является неизбежное различие функциональных пространств между клиентами, которое приводит к несовместимости моделей. Кроме того, данные на клиентских устройствах часто являются нестандартными (non-IID), что усложняет обучение общей модели. Несомненно, что самый серьезный вызов в FL — это нехватка меток (label scarcity), которая ограничивает возможности обучения эффективной модели. Эти проблемы могут отрицательно сказаться на точности модели, робастности и справедливости. Мотивация FedFusion — развитие фреймворка, который эффективно решает эти проблемы с помощью трансфер-learning, подходов к разнообразию и кластеризации, а также фругального меток. ## Метод FedFusion — это фреймворк, который комбинирует методы трансфер-learning и подходы к поддержанию разнообразия и кластеризации. Он включает в себя три типа клиентов: **teacher-clients**, которые обладают достаточным количеством меток и направляют **learner-clients**, которые имеют меньше меток или их отсутствие. Teacher-clients используют **confidence-filtered pseudo-labels**, чтобы обучать learner-clients, при этом применяется **domain-adaptive transfer** для адаптации моделей к разным клиентам. FedFusion использует **diversity-aware encoders (DivEn)**, которые учитывают различия в данных между клиентами, включая **DivEn-mix** для смешения разнородных данных и **DivEn-c** для поддержания кластеризации. Для сохранения глобального когерентности, FedFusion использует **similarity-weighted classifier coupling**, что позволяет избежать преобладания данных-богатых клиентов и повысить производительность клиентов с небольшим количеством меток. Также FedFusion включает **frugal-labelling pipeline**, которая основывается на **self-/semi-supervised pretext training** и **selective fine-tuning** для уменьшения необходимости ручной маркировки. ## Результаты Для оценки FedFusion проведены эксперименты на нескольких датасетах, включая **tabular datasets** (такие как Adult и COMPAS) и **imaging datasets** (такие как CIFAR-10 и CIFAR-100), в разных режимах (IID, non-IID и label-scarce). Результаты показали, что FedFusion показал лучшую точность, робастность и справедливость по сравнению с состоянием искусства (state-of-the-art, SOTA), в том числе **FedAvg**, **FedProx** и **FedPer**. На датасетах CIFAR-10 и CIFAR-100, FedFusion показал **10-15% выигрыша в точности** в режимах с небольшим количеством меток. Также, FedFusion показал низкие значения **communication overhead** и **computation cost**, что делает его пригодным для реальных приложений. ## Значимость FedFusion имеет широкие области применения, включая различные сценарии, такие как медицина, моби

## Контекст С ростом интереса к обучению бо LARGE LANGUAGE MODELS (LLMs) инфраструктура обучения достигла значительных масштабов, включая сотни тысяч GPU. Однако при таких масштабах возникает значительное количество проблем, таких как CUDA-ошибки, NaN-значения и зависания заданий, которые значительно снижают эффективность и надежность тренировочных процессов. Современные методы обучения LLMs должны учитывать эти задачи, обеспечивая высокую производительность, точность диагностики и устойчивость к ошибкам. Поэтому целью данного исследования является разработка системы управления GPU-инфраструктурой, которая обеспечивает высокую устойчивость и эффективность процесса обучения LLMs в реальном времени. ## Метод Методология разработки ByteRobust основывается на понимании уникальных характеристик процесса обучения LLMs. Используются методы автоматического диагностирования ошибок, таких как динамический мониторинг и анализ тренировочных данных. Архитектура ByteRobust включает в себя несколько модулей: модуль мониторинга, модуль распознавания ошибок и модуль восстановления. Модуль мониторинга наблюдает за процессом обучения, в том числе за состоянием GPU и статистикой процесса. Модуль распознавания ошибок использует методы машинного обучения для диагностики проблем. Модуль восстановления активируется при обнаружении ошибки и применяет методы, такие как перезапуск заданий и дедупликация данных, для быстрого восстановления. ## Результаты Удачные эксперименты проведены на платформе с более чем 200 000 GPU. Был проведен тренировочный процесс LLM на 9 600 GPU, длительностью три месяца. Был достигнут рекордный результат с 97% успешного времени до первого провала (ETTR), что значительно превышает стандартные показатели. Была также доказана эффективность ByteRobust в обнаружении и восстановлении ошибок: в 85% случаев было достигнуто мгновенное восстановление с заданий после обнаруженных проблем. ## Значимость ByteRobust может быть применен в различных областях, включая образование, медицину, финансы и искусственный интеллект. Он позволяет не только увеличить стабильность процесса обучения LLMs, но и повысить эффективность использования ресурсов. Этот подход может стать ключевым для будущих исследований в области масштабируемого обучения языковых моделей. ## Выводы На основе полученных результатов, ByteRobust продемонстрировал высокую эффективность в обнаружении и восстановлении ошибок во время обучения LLMs. Будущие исследования будут сконцентрированы на расширении функционала системы, включая улучшение методов диагностики и восстановления, а также оптимизацию и

#### Контекст Масштабная развертываемость кластерных вычисльных систем приводит к сложностям в эффективной аллокации рабочей нагрузки. Одним из ключевых задачей является распределение задач на оптимальные узлы кластера, учитывая ограничения, такие как заданные предпочтения к узлам или их способность выполнять определенные типы работ. Традиционными методами являются ручное распределение или статические алгоритмы, которые не всегда учитывают сложную динамику кластера. Это приводит к потерям в производительности, неэффективном использовании ресурсов и невысоком качестве обслуживания. Мотивация заключается в использовании машинного обучения (ML) для автоматизации рабочей нагрузки и улучшения её эффективности. #### Метод Для решения этой проблемы использовано реальные данные кластера Google Cluster Data (GCD). Алгоритмы ML были применены для определения задач, которые могут выполняться только на ограниченном числе узлов (node affinity operators). Предварительная обработка данных включала извлечение атрибутов узлов и ограничений задач, а также их представление с помощью one-hot encoding. Классификаторы, включая Artificial Neural Networks, K-Nearest Neighbours, Decision Trees, Naive Bayes, Ridge Regression, Adaptive Boosting и Bagging, были применены для прогнозирования подходящих узлов для задач. Ансамбль вебесточного классификатора (ensemble voting classifier) был оптимизирован для максимальной точности и F1-меры. #### Результаты Проведенные эксперименты показали, что метод эффективно распределяет задачи, используя 10-классовый one-hot encoding для ограничений. ML-алгоритмы показали высокую точность, особенно с Adaptive Boosting и Bagging, которые достигли 98% точности и межклассового ошибки менее 1.8%. Эти результаты были получены на основе реальных треков Google Cluster Data, где задачи распределялись между 12,5 к узлов. Оптимизированные модели показали лучшую производительность по сравнению с традиционными методами, повысив эффективность аллокации рабочей нагрузки. #### Значимость Предложенная модель имеет широкий потенциал применения в кластерных вычислениях, в частности, для автоматизации рабочей нагрузки, где существуют ограничения на выполнение задач только на определенных узлах. Метод позволяет уменьшить стоимость обслуживания, увеличить плотность использования ресурсов, и улучшить качество обслуживания. Он также может быть применен в различных сферах, где требуется современный подход к распределенным вычислениям, таких как облачные вычисления и Big Data. #### Выводы Результаты исследования показали, что ML-алгоритмы эффективно решают задачи рабочей нагрузки в кластерах, особенно когда задачи имеют ограничения на выполнение только определенных узлов. Оптимизированный ensemble voting classifier показал самые высокие результаты. В бу

#### Контекст В последние годы растет значительно интерес к использованию возможностей искусственного интеллекта в реальных приложениях. Одним из ключевых аспектов этого роста является возможность выполнения вычислений в граничных устройствах (edge devices), не задействовав удаленных серверов. Эта технология, известная как edge intelligence, позволяет избежать задержек в обработке данных, уменьшает нагрузку на сеть и обеспечивает более высокую конфиденциальность. Однако этот подход имеет свои ограничения, в том числе ограниченные вычислительные мощности и память в граничных устройствах. Для работы с большими моделями необходимо использовать удаленные серверы, что приводит к дополнительным затратам на сеть и время отклика. В данной работе мы рассматриваем систему под названием Hierarchical Inference (HI), в которой модели интерпретируются в граничных устройствах, но могут быть дополнительно отправлены на удаленные серверы для дополнительной обработки в случае необходимости. #### Метод Для оптимизации процесса определения класса бинарной классификации в HI-системах мы предлагаем новую политику определения двух порогов (two-threshold policy). Эта политика определяет, когда следует использовать результаты локальной модели и когда отправлять обработку на удаленный сервер. Мы используем обучение с подкреплением в реальном времени для поиска оптимальных порогов в динамических условиях. Для необученных моделей мы предлагаем общую структуру H2T2, которая требует только ограниченной обратной связи во время выполнения. Метод H2T2 является адаптивным и может быть использован для любых моделей, не требуя их предварительной обученности. Мы оптимизируем характеристики времени отклика и точности классификации в течение времени выполнения. #### Результаты Мы проводили эксперименты с использованием реальных данных, в том числе CIFAR-10 и IMDB. Мы сравнивали наши результаты с двумя базовыми политиками: одной с одним порогом и другой, оптимизирующей порог удаленной модели на уровне оптимального выбора. Наши результаты показали, что H2T2 показывает высокую точность и эффективность, существенно превосходя другие политики, особенно при условиях различных классов данных. Мы также проводили эксперименты, демонстрирующие, что H2T2 поддается эффективной адаптации к разным условиям распределения данных. #### Значимость Наш подход может быть использован в приложениях, требующих высокой точности и минимальных затрат на обработку, таких как распознавание речи, детекция объектов и задачи, требующие временной эффективности. Избегание стоимостных порогов может приложиться в системах, где каждый промах в классификации им

## Контекст Reinforcement learning (RL) является ключевым развитием в области искусственного интеллекта, включая широкие приложения в области объектного мышления, агентской модели и технологий embodied intelligence. Однако, существующие системы RL часто страдают от низкой эффективности использования оборудования и медленной скорости обучения. Эти проблемы возникают в силу того, что RL-среды являются высоко-гибридными и динамичными, что приводит к неэффективному использованию ресурсов и сложностям в динамическом планировании. Эти ограничения ограничивают потенциал RL в более сложных и реалистичных сценариях. В этой работе мы рассматриваем эту проблему, предлагая RLinf, высокопроизводительную систему RL, основанную на нашем ключевом обнаружении, что главным препятствием для эффективности является формализация RL-процесса и его преобразование. ## Метод RLinf вводит новый подход к разработке RL-систем под названием macro-to-micro flow transformation (M2Flow). Этот подход разбивает RL-процессы на легко-модулируемые части, которые последуют в композиции оптимизированных рабочих процессов. Для реализации этой трансформации, мы вводим контекст-свитчинг и эластичную операцию пайплайнинга, поддерживаемые профилирующим планированием. Эта структура позволяет RLinf адаптироваться к различным типам задач, от принципиального RL до embodied RL. Кроме того, RLinf использует адаптивную систему коммуникации, чтобы обеспечить высокую скорость обмена данными между различными узлами в системе. ## Результаты Мы проводили подробные эксперименты на различных RL-задачах, включая объектное мышление и embodied RL. Использовались данные из различных наборов для проверки скорости обучения и эффективности использования ресурсов. Результаты показывают, что RLinf существенно превосходит состояние технологий, достигая скорости обучения от 1.1 раз до 2.13 раз выше, независимо от размера и сложности задачи. Эти результаты были получены благодаря оптимальной организации рабочего процесса, сжатым пайплайном и высоко-эффективной системе коммуникации. ## Значимость RLinf открывает новые возможности для применения RL в широких областях, включая embodied intelligence, развитие agentic систем, и развитие новых технологий для обработки больших данных. Он обеспечивает высокую эффективность и гибкость, что позволяет использовать RL в более сложных задачах, таких как реалистичные embodied tasks. Мы видим, что RLinf может повлиять на развитие технологий, обеспечивая более эффективное использование ресурсов и повышение скорости обучения, что может привести к новым возможностям в области общего искусственного интеллекта. ## Выводы Мы представили RLinf, высокоп

## Контекст Differentially-Private Stochastic Gradient Descent (DP-SGD) является важной методикой для защиты конфиденциальности при обучении нейронных сетей с использованием чувствительных данных. Однако обучение с помощью DP-SGD чревато высокими затратами на вычисления и энергией. Для устранения этой проблемы широко распространенным решением является использование низкопрецизионного представления моделей, включая веса и активации. Эта техника, называемая quantization, позволяет значительно сократить время обучения, энергопотребление и затраты. Однако, при обучении DP-SGD, внедрение шума, характерное для этого подхода, сильно усиливает вариацию, вызванную низкопрецизионным представлением, что приводит к более существенной ухудшению точности модели. Мы рассматриваем эту проблему, а также предлагаем решение, которое позволяет сочетать эффективность и чувствительность к приватности в обучении моделей. ## Метод Мы предлагаем QPQuant, динамическую систему адаптивной quantization-схемы, которая адаптирует состав выбранных для quantization слоев на каждой эпохе обучения. Наш подход основывается на двух основных компонентах: (i) вероятностная семуляция, позволяющая каждой эпохе поворачивать, какие слои будут quantized, и (ii) loss-aware layer prioritization, которая использует применение частично дифференциальной конфиденциальности (DP) для оценки сенситивности весов каждого слоя. Оценка сенситивности потребляет незначительную часть общего бюджета конфиденциальности, сохраняя при этом гарантии защиты приватности. Эта стратегия позволяет адаптироваться к характеристикам модели и данных, сводя к минимуму ущерб от quantization к модели. ## Результаты Мы проводим эксперименты с QPQuant на топовых моделях, таких как ResNet18, ResNet50, и DenseNet121, используя наборы данных ImageNet, CIFAR-10 и CIFAR-100. Наши результаты показывают, что QPQuant обеспечивает более высокую точность по сравнению с статическими схемами quantization, сохраняя при этом высокую эффективность. Мы получаем до 2.21x увеличения пропускной способности на низкопрецизионном железе, с менее чем 2% ухудшением точности на валидации. Эти результаты демонстрируют значительные преимущества QPQuant перед существующими методами, которые не так эффективно решают проблему влияния quantization на DP-SGD. ## Значимость Наш подход имеет широкие применения в области защиты приватности при обучении моделей, особенно в сценариях, где высокая точность и эффективность критичны. Это включает такие области, как здравоохранение, финансы и юридические системы, где обеспечение конфиденциальности и высокая производительность являются ключевыми. Эффективность QPQuant позволяет сократить затраты на обучение и