eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations

#### Контекст Активное развитие интеллектуальных систем на основе глубоких нейронных сетей приводит к появлению новых требований к вычислительной мощности и эффективности, особенно в ресурс-ограниченных средах, таких как края сети (edge). Нейропроцессоры (NPUs) возникают как решение для эффективной обработки нейросетевых моделей на краях сети. Однако показатели "на высоте", такие как TOPS (транзакций в секунду), часто оказываются малоинформативными в реальных условиях, так как не соотносятся с фактической эффективностью и часто приводят к значительным издержкам на силиконовый производство. Необходимо развивать архитектуры NPUs, которые будут оптимизированы для эффективного использования вычислительных ресурсов, сохраняя гибкость для различных задач. В этой работе представляется эффективный NPU "eIQ Neutron", интегрированный в современный коммерческий модуль для многоцелевых приложений (MPU), вместе с компилятором, оптимизированным для вычислений и данных. #### Метод "eIQ Neutron" использует данные-драйверный подход для оптимизации вычислительных ресурсов и данных. Архитектура NPU основывается на гибкой структуре, которая позволяет адаптироваться к разным типам нейросетевых моделей. Для увеличения эффективности вычислений и уменьшения трафика данных, компилятор работает на основе ограниченной программировальной модели, которая генерирует оптимальные коды для различных типов задач. Эта архитектура позволяет фокусироваться на использовании ресурсов наиболее эффективно, чтобы достичь высокой производительности при ограниченных вычислительных и памятных ресурсах. #### Результаты В ходе экспериментов, проведенных на стандартных бенчмарках, "eIQ Neutron" показал средний прирост производительности 1,8 раза (до 4 раз в пиковых условиях) по сравнению с ведущим NPU и компилятором в задачах воспроизведения видео, обработки изображений и других задач. Даже при работе на NPU с двойным объемом вычислительных ресурсов и памяти, "eIQ Neutron" показал до 3,3 раза более высокую производительность. Эти результаты достигнуты благодаря оптимальной организации вычислительных процессов и гибкой архитектуре, которая позволяет использовать ресурсы более эффективно. #### Значимость Решение, представленное в этой работе, может быть использовано в различных приложениях, включая обработку реального времени, распознавание речи, распознавание образов и другие задачи, требующие высокой производительности в ресурс-ограниченных средах. Основные преимущества технологии "eIQ Neutron" заключаются в том, что она позволяет повысить эффективность вычислений, сократить расходы на силиконовый