Real-Time Performance Benchmarking of TinyML Models in Embedded Systems (PICO: Performance of Inference, CPU, and Operations)

## Контекст Объединение микроконтроллеров и нейронных сетей в области Edge AI позволяет решать сложные задачи компьютерного зрения и звукового анализа на устройствах с ограниченными ресурсами. Эти модели, известные как TinyML, обеспечивают реального времени обработку данных в условиях ограниченного количества памяти, пропускной способности и энергопотребления. Однако важно понимать, как эти модели работают на различных железных платформах, так как реальное время процесса инференса, использование CPU и эффективность памяти могут сильно отличаться. Недостаток инструментов для реального времени мониторинга и оценки таких моделей затрудняет оптимальный выбор платформы и настройку моделей. Для устранения этой проблемы разработан PICO-TINYML-BENCHMARK, который предлагает модульное и платформонезависимое решение для оценки реального времени TinyML-моделей. ## Метод PICO-TINYML-BENCHMARK представляет собой модульную архитектуру, которая включает в себя модели, платформы и метрики для эффективного мониторинга реального времени. Он поддерживает различные платформы, такие как BeagleBone AI-64 и Raspberry Pi 4, и оценивает три ключевые метрики: латентность вывода, использование CPU и эффективность памяти. Модели, оцениваемые в рамках данного исследования, включают Gesture Classification, Keyword Spotting и MobileNet V2. Данные для экспериментов были получены из реального мира, чтобы обеспечить актуальность и релевантность результатов. Такая разработанная система предоставляет пользователю возможность оптимизировать модели и выбирать платформу с учетом конкретных требований. ## Результаты Оценивая три TinyML-модели, расширенные бенчмарки показали различия в производительности на BeagleBone AI-64 и Raspberry Pi 4. Gesture Classification и Keyword Spotting показали лучшую эффективность на BeagleBone AI-64, где инференс выполняется с меньшей латентностью. Однако Raspberry Pi 4 демонстрирует выигрыш в памяти и энергоэффективности, который может быть критичен для приложений с ограниченным бюджетом. Например, в Keyword Spotting Raspberry Pi 4 показывает лучшую эффективность памяти, что может привести к более экономичной реализации. Такие результаты помогают понять ситуацию и сделать оптимальный выбор платформы и модели согласно требованиям приложения. ## Значимость Фреймворк PICO-TINYML-BENCHMARK имеет широкие возможности для применения в сферах, где реальное время и эффективность ключевые факторы. Это может быть особенно полезно для IoT-приложений, где сжатые ресурсы необходимы для эффективной работы. Данный подход также может быть использован для разработки моделей с меньшим расходом ресурсов и улучшения энергоэффективности. Эти резуль