SNAP-UQ: Self-supervised Next-Activation Prediction for Single-Pass Uncertainty in TinyML

## Контекст Современные приложения с малым объемом памяти (TinyML) требуют эффективных методов оценки неуверенности (uncertainty quantification, UQ), которые не требуют большого объема вычислительных ресурсов и памяти. Оценка неуверенности в реальном времени позволяет обеспечить надежность и безопасность систем, применяемых в критических условиях, таких как автоматизация промышленных процессов и системы безопасности. Однако существующие подходы часто требуют многопроходных предсказаний, дополнительных буферов или сложных архитектур, что не подходит для систем с ограниченными ресурсами. Мотивирует разработку эффективных, легких и простых в использовании методов оценки неуверенности в реальном времени для TinyML. ## Метод "SNAP-UQ" (Self-supervised Next-Activation Prediction for Uncertainty in TinyML) — метод, основанный на самостоятельном обучении, который предсказывает следующую активацию (next-activation) в модели сжатого объема (tiny int8). Метод работает в одном проходе (single-pass) и не требует дополнительных входных данных, таких как метки или кэшированные выходы слоев. В нем две основные компоненты: (1) **Depth-wise Next-Activation Prediction (D-NAP)** — нейронные сетки сжатого формата (tiny int8) предсказывают статистику следующего слоя на основе сжатого представления предыдущего слоя, и (2) **Lightweight Monotone Mapper (LMM)** — векторные мапперы, которые преобразуют результаты предсказания в сокращенный, но действительный счетчик неуверенности. Метод SNAP-UQ не требует временных буферов, выходных точек или многопроходных предсказаний, что делает его особенно подходящим для реализации на микроконтроллерах (MCU). ## Результаты Результаты экспериментов показывают, что SNAP-UQ существенно сокращает размер моделей (flash) и задержки (latency) по сравнению с другими методами, например, с методами early-exit и deep ensembles. Например, SNAP-UQ уменьшает размер моделей на 40-60% и ускоряет выполнение на 25-35% при сохранении той же точности. Были проверены модели на задачах визуального и аудио-представления, и в большинстве случаев SNAP-UQ показал лучшие результаты. Он также демонстрирует улучшение обнаружения дефектов в потоках данных в реальном времени, особенно в условиях помех и раз Noise. Этот подход демонстрирует надежную работу с малыми ресурсами, обеспечивая критически важную оценку неуверенности в реальном времени для микроконтроллеров. ## Значимость Подход SNAP-UQ имеет широкое применение в реальном времени для оценки неуверенности в микроконтроллерах (TinyML). Он может применяться в таких областях, как мониторинг операций, безопасность систем, диагностика аппаратуры и системы управления. Основные преимущества SNAP-UQ за