An Open-Source HW-SW Co-Development Framework Enabling Efficient Multi-Accelerator Systems

#### Контекст Современные вычислительные системы стремятся к производительности и эффективности, часто использующие разнородные ускорители (accelerators) для решения различных задач, включая обработку естественного языка, распознавание изображений и другие AI-задачи. Однако существующие системы часто сталкиваются с проблемами взаимодействия между программным и аппаратным обеспечением, что приводит к уменьшению эффективности и сложности интеграции. Эти проблемы становятся особенно актуальными при разработке систем с множеством ускорителей, где необходима эффективная многозадачность и минимальная задержка. Наша мотивация заключается в разработке универсального и открытого фреймворка, который обеспечивает эффективное взаимодействие между программным и аппаратным обеспечением, повышает эффективность и упрощает развитие и развертывание систем с множеством ускорителей. #### Метод SNAX — это открытый HW-SW фреймворк, который реализует новую схему гибридной связи (hybrid-coupling), состоящую из асинхронного управления и тесной связи данных. Он включает в себя модули аппаратного обеспечения, разработанные для увеличения эффективности ускорителей. Фреймворк также имеет подключаемую MLIR-основную компиляцию, которая автоматизирует различные задачи управления системой. Эта архитектура позволяет легко интегрировать новые ускорители, а также упрощает программирование и управление системой. Фреймворк разработан с учетом гибкости и масштабируемости, чтобы поддерживать разнообразные AI-задачи и рабочие нагрузки. #### Результаты Мы провели исследования с использованием различных ускорителей и AI-задач, включая нейронные сети. Наши результаты показывают, что SNAX обеспечивает высокую эффективность и гибкость. В частности, на проведенных экспериментах увеличение производительности сетей нейронных сетей достигло более чем 10 раз по сравнению с другими системами, при этом эффективность использования ускорителей составила более 90% при полной нагрузке. Это достигается благодаря улучшенной системе управления ресурсами и эффективной интеграции программного и аппаратного обеспечения. #### Значимость Фреймворк SNAX может применяться в различных областях, включая распознавание речи, робототехнику, искусственный интеллект и другие AI-задачи, где необходима высокая производительность и эффективное использование ресурсов. Одним из основных преимуществ является улучшение производительности и гибкость в интеграции новых ускорителей. Это может привести к более быстрому развертыванию и эффективному и