MiCo: End-to-End Mixed Precision Neural Network Co-Exploration Framework for Edge AI

#### Контекст Сжатие моделей нейронных сетей для использования на устройствах крайне важно для обеспечения эффективной работы систем на основе машинного обучения в реальном времени на ограниченных ресурсах. Одной из популярных техник для достижения этой цели является микроскопическое сжатие. Оно позволяет уменьшить размер моделей и ускорить их выполнение без заметной потери точности. Однако классические подходы к микроскопическому сжатию ограничены в своей гибкости и эффективности, не учитывая всех факторов, влияющих на получение оптимальной точности и производительности. Также не существует полностью оптимизированных решений для целостного поиска и развертывания моделей с микроскопическим сжатием. Данная статья посвящена разработке фреймворка MiCo, предназначенного для решения этих проблем. #### Метод MiCo предлагает новую методологию для поиска оптимальных схем микроскопического сжатия с высокой точностью и минимальным временем отклика. Основной алгоритм оптимизации использует градиентный подход для поиска наилучших параметров сжатия для каждого слоя сети. Для оценки влияния различных схем сжатия на производительность используется модель оценки латентности на основе железа. Эта модель позволяет сконцентрироваться на характеристиках различных устройств. Инновационной частью работы является полностью автоматизированной система развертывания, позволяющая превратить модели PyTorch в без System C-коды, обеспечивая быструю и точную работу на реальном оборудовании. #### Результаты Для тестирования MiCo были проведены эксперименты на нескольких классических моделях нейронных сетей, таких как ResNet и MobileNet, применяемых к задачам распознавания изображений. Модели были тренированы с использованием различных схем микроскопического сжатия, включая знакомые схемы, такие как 8-битный и 4-битный квантизации. Результаты показали, что MiCo существенно превосходит существующие методы в точности и скорости работы на реальном оборудовании. Особенно выдающимися результатами были достигнуты при использовании 4-битного сжатия с помощью MiCo, что позволило достичь максимального соотношения точности и быстродействия. #### Значимость MiCo представляет собой значительный шаг в области развития микроскопического сжатия для edge AI. Он может применяться в различных приложениях, включая распознавание речи, обработку изображений и технологии видеоанализа на девайсах с ограниченными ресурсами. За счет того, что MiCo автоматизирует поиск оптимальной схемы сжатия и позволяет быстро развернуть модели на реальном железе, он существенно сокращает время и с