TCUQ: Single-Pass Uncertainty Quantification from Temporal Consistency with Streaming Conformal Calibration for TinyML

#### Контекст Текущие тенденции в развитии смарт-устройств и интернета вещей (IoT) привели к появлению микроконтроллеров с ограниченными ресурсами, которые требуют эффективных методов м MLOps. Одной из проблем в этой области является необходимость постоянного мониторинга моделей Машинного Обучения для обеспечения их надежности и точности в реальном времени. Существующие подходы, такие как early exits и deep ensembles, требуют значительных вычислительных ресурсов или дополнительных вычислений, что не всегда применимо для малоразмерных устройств. Это мотивирует развитие методов, которые обеспечивают непрерывный мониторинг моделей с минимальным потреблением ресурсов и высокой производительностью. #### Метод Метод TCUQ (Temporal Consistency for Uncertainty Quantification) основывается на использовании темпоральной консистенции в качестве источника информации для оценки неопределенности. Метод работает в режиме одного прохода и не требует якорных меток для каждого примера. Идея заключается в том, чтобы использовать характеристики структуры данных в течение короткого временного окна для построения бюджетного правила принятия решений. Для этого применяется структура буфера размером $W$ и метод простого обновления в режиме $O(1)$. Для сериализации результатов используется потоковая модель калибровки, которая преобразует полученные оценки неопределенности в правило принятия решений с фиксированным бюджетом (accept/abstain). Это позволяет достичь высокой точности в определении достоверности вывода без дополнительных вычислительных затрат. #### Результаты Результаты экспериментов показывают, что TCUQ эффективен в сравнении с современными подходами. Он применялся к малоразмерным устройствам с ограниченной памятью и потреблял значительно меньший объем ресурсов (около 50-60% меньше и около 30-45% быстрее) в сравнении с early exits и deep ensembles. Были проведены испытания на микроконтроллерах с килобайтным объемом памяти, где TCUQ показал себя как эффективный инструмент для мониторинга моделей. Особое внимание уделено оценке достоверности в условиях потоковых данных с повреждениями. TCUQ достиг значительного улучшения в обнаружении выпадения точности модели (до 3-7 AUPRC) и достиг 0.86 AUPRC при высоких уровнях повреждений. Для детекции неисправностей он достиг 0.92 AUROC. #### Значимость TCUQ предоставляет практический и ресурсосберегающий подход к мониторингу моделей в TinyML. Он отличается высокой скоростью работы и небольшим расходом ресурсов, что делает его применимым для экономии памяти и процессорных мощностей на микроконтроллерах. Этот подход может быть применен в различных областях, включая IoT-устройства,