CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection

## Контекст В области временных рядов, оценка моделей аномализации является критически важной задачей. Однако существующие метрики имеют недостатки: недостаточная дискриминативная сила, чувствительность к гиперпараметрам, восприимчивость дискрепантности данных и высокий компьютерный оверхед. Эти ограничения приводят к неточной оценке моделей и снижают надежность результатов. Наша мотивация заключается в разработке более стабильной и эффективной метрики, которая учитывает не только точность предсказаний, но и их уверенность и согласованность. ## Метод Мы предлагаем метод **Confidence-Consistency Evaluation (CCE)**, который оценивает две стороны качества предсказаний: уверенность и согласованность. Для построения метрики CCE используется техника Байесовского вывода для оценки неопределенности аномалий. Мы строим "глобальную" и "событийную" оценки уверенности и согласованности, чтобы обеспечить полную картину качества модели. Это позволяет CCE быть компактной и ресурсосберегающей метрикой. Мы также применяем техники линейной алгебры и математической статистики для обеспечения робастности и эффективности. ## Результаты Мы проводили эксперименты на различных датасетах, включающих данные с разными характеристиками (например, IoT, финансовые данные). Метрика CCE показала существенное улучшение в дискриминативности и устойчивости по сравнению с существующими метриками. Мы также провели тесты на систематической неточности и внешних помех, показав, что CCE лучше справляется с ними. Также, CCE доказала свою эффективность в быстрой оценке моделей при малом оверхеде вычислений. ## Значимость Метрика CCE может применяться во многих областях, где важна точная оценка аномалий в временных рядах, такие как безопасность систем, финансовый мониторинг, интернет вещей. Она обеспечивает лучшую точность, устойчивость к помехам и эффективность. Благодаря RankEval, мы предложили первый стандартизированный процесс для сравнения различных метрик, что способствует повышению надежности исследований в этой области. ## Выводы Мы предложили новую метрику CCE, которая предлагает сильные доказательства ее эффективности и устойчивости в оценке моделей аномализации временных рядов. Мы также интегрировали RankEval в качестве открытого стандарта для сравнения метрик. Будущие исследования будут фокусироваться на расширении CCE для более сложных моделей и приложений, а также на ее применении в реальных мировых задачах.