----------------------------------------------------------------------- ## Контекст ----------------------------------------------------------------------- Unsupervised federated learning (UFL) является популярным подходом к обучению моделей машинного обучения в распределенной среде без необходимости тщательной индивидуальной метковки данных. Он обеспечивает конфиденциальность данных и устраняет необходимость централизованного управления. Однако UFL сталкивается с рядом проблем в реальных приложениях. В частности: 1. **Неравномерность данных (non-iid)**: распределение данных на различных устройствах может быть непредсказуемым, что влечет за собой снижение точности модели. 2. **Тяжелые вычисления и высокие затраты на связь**: клиентские устройства часто имеют ограниченные ресурсы, что усложняет обработку и передачу данных. 3. **Уязвимость к шумам в связи**: передача данных по сети часто подвержена помехам, что может повлиять на качество обучения. Предыдущие подходы к UFL основывались на нейронных сетях (NN), которые требуют значительных вычислительных и сетевых ресурсов. Новые подходы, основывающиеся на альтернативных представлениях данных, могут помочь уменьшить эти проблемы. В данной работе предлагается FedUHD — первый фреймворк UFL, основанный на Hyperdimensional Computing (HDC), который предлагает легкие операции обучения и инференса, меньший размер модели и высокую устойчивость к шумам в связи. ----------------------------------------------------------------------- ## Метод ----------------------------------------------------------------------- FedUHD основывается на идеях Hyperdimensional Computing (HDC), широко известного своей эффективностью и устойчивость к шумам. Основные технические решения включают: 1. **Клиентская сторона**: использование метода кластеризации kNN для удаления вредных выбросов из неравномерно распределенных данных на клиентских устройствах. 2. **Серверная сторона**: введение взвешенного метода свертки (weighted HDC aggregation) для выравнивания распределения данных между клиентами. FedUHD использует крупномасштабные представления данных, обеспечивая лучшую точность и устойчивость, чем традиционные NN-подходы. ----------------------------------------------------------------------- ## Результаты ----------------------------------------------------------------------- Эксперименты проводились на различных наборах данных, включая CIFAR-10 и FMNIST. Результаты показали следующее: - **Эффективность обучения**: FedUHD достигает до 173.6x ускорения и 612.7x энергоэффективности в сравнении с NN-подходами. - **Сокращение затрат на связь**: требуется до 271x меньше ресурсов для передачи данных. - **Устойчивость к шумам**: FedUHD показал существенную устойчивость к различным типам помех в связи. - **Точность**: наблюдается увеличение точности обучения до 15.5% в сравнении с состоянием искусства. ----------------------------------------------------------------------- ## Значимость ----------------------------------------------------------------------- FedUHD может быть применен в следующих областях: - **Медицина**: обработка данных без централизованного обработчика. - **Инт

#### Контекст Сжатие моделей нейронных сетей для использования на устройствах крайне важно для обеспечения эффективной работы систем на основе машинного обучения в реальном времени на ограниченных ресурсах. Одной из популярных техник для достижения этой цели является микроскопическое сжатие. Оно позволяет уменьшить размер моделей и ускорить их выполнение без заметной потери точности. Однако классические подходы к микроскопическому сжатию ограничены в своей гибкости и эффективности, не учитывая всех факторов, влияющих на получение оптимальной точности и производительности. Также не существует полностью оптимизированных решений для целостного поиска и развертывания моделей с микроскопическим сжатием. Данная статья посвящена разработке фреймворка MiCo, предназначенного для решения этих проблем. #### Метод MiCo предлагает новую методологию для поиска оптимальных схем микроскопического сжатия с высокой точностью и минимальным временем отклика. Основной алгоритм оптимизации использует градиентный подход для поиска наилучших параметров сжатия для каждого слоя сети. Для оценки влияния различных схем сжатия на производительность используется модель оценки латентности на основе железа. Эта модель позволяет сконцентрироваться на характеристиках различных устройств. Инновационной частью работы является полностью автоматизированной система развертывания, позволяющая превратить модели PyTorch в без System C-коды, обеспечивая быструю и точную работу на реальном оборудовании. #### Результаты Для тестирования MiCo были проведены эксперименты на нескольких классических моделях нейронных сетей, таких как ResNet и MobileNet, применяемых к задачам распознавания изображений. Модели были тренированы с использованием различных схем микроскопического сжатия, включая знакомые схемы, такие как 8-битный и 4-битный квантизации. Результаты показали, что MiCo существенно превосходит существующие методы в точности и скорости работы на реальном оборудовании. Особенно выдающимися результатами были достигнуты при использовании 4-битного сжатия с помощью MiCo, что позволило достичь максимального соотношения точности и быстродействия. #### Значимость MiCo представляет собой значительный шаг в области развития микроскопического сжатия для edge AI. Он может применяться в различных приложениях, включая распознавание речи, обработку изображений и технологии видеоанализа на девайсах с ограниченными ресурсами. За счет того, что MiCo автоматизирует поиск оптимальной схемы сжатия и позволяет быстро развернуть модели на реальном железе, он существенно сокращает время и с

## Контекст Оптимизация логики является ключевым этапом в электронном проектировании автоматизации (ELA). Цель оптимизации — сократить количество элементов управления (гейтс) в логических схемах без ущерба для их функциональности. Одним из основных операторов оптимизации является refactor. Он стремится к уменьшению количества элементов, но обычно при этом происходит много неудачных попыток. Эти неудачи требуют дорогостоящей ресинтезы, что значительно замедляет процесс оптимизации. Эта проблема особенно актуальна для крупных индустриальных проектов, где эффективность оптимизации критична. Наша работа адресована решению этой проблемы, способствуя значительному ускорению оптимизации логики. ## Метод Мы предлагаем метод, основанный на классификаторе, который предсказывает результат операции refactor еще до её выполнения. Если предсказание указывает на неудачу, операция пропускается, избегая ненужных ресинтезов. Мы использовали алгоритм глубокого обучения для построения классификатора, который на основе характеристик логических узлов предсказывает результат. Этот подход позволяет эффективно использовать вычислительные ресурсы, сократив количество ненужных операций. Метод был интегрирован в систему ABC, популярную в ELA. ## Результаты Мы проверили наш метод на двух наборах данных: EPFL benchmark suite и 10 крупных промышленных проектах. На этих наборах мы сравнили скорость работы нашего метода с самой быстрой доступной реализацией refactor в ABC. Результаты показали, что наш метод ускоряет оптимизацию логики в среднем в 3.9 раз. Это достигнуто благодаря преемственному отсеиванию неудачных операций, что экономит ресурсы и ускоряет процесс. ## Значимость Наш метод имеет широкие потенциальные применения в электронном проектировании, где требуется оптимизация логических схем. Он эффективен для крупных проектов, где высокая скорость работы и экономия ресурсов критична. Это может привести к ускорению разработки и сокращению затрат на производство. Метод также может быть использован в других областях, где требуется эффективная оптимизация сложной логики. ## Выводы Мы представили новый подход к эффективной оптимизации логики, основанный на алгоритмах машинного обучения. Наши результаты показывают, что этот подход может значительно ускорить процесс оптимизации, уменьшив количество ненужных операций. Будущие исследования будут направлены на усовершенствование классификатора и расширение его применения к другим операторам оптимизации.