Monitoring Machine Learning Systems: A Multivocal Literature Review

## Контекст Мониторинг машинного обучения (ML) в динамичных производственных средах является ключевым аспектом для обеспечения надежности и качества моделей ML. Несмотря на то, что ML решения позволяют автоматизировать и улучшать многие процессы, неожиданные изменения в данных или операционных условиях могут привести к ухудшению производительности моделей. Это может привести к потере доверия пользователей и негативным последствиям для организаций. Мониторинг помогает обнаружить и устранить такие проблемы в ранней стадии, снижая риск их развития. Однако существуют различия в подходах к мониторингу, а также проблемы в текущих решениях. Уточнение мотивации, целей и сферы применения мониторинга помогает создать более точный пакет мер, способствующих повышению надежности и эффективности ML-систем. ## Метод Мы провели многоголосую литературную рецензию (MLR), основываясь на руководстве Garousi. Мы проанализировали 136 статей, раскрыв четыре ключевых области: (1) мотивации, целей и контекста мониторинга ML, (2) мониторинга технических аспектов, метрик и инструментов, (3) вклад и пользу, (4) текущие ограничения. Мы также привлекли сведения из серой литературы (серых публикаций), которая часто не учитывается в классических литературных обзорах. Это позволило нам увидеть сходства и разрывы между формальными и неформальными источниками. ## Результаты Мы получили подробную визуализацию текущих направлений в мониторинге ML, выделив стандартные методы, новые подходы и проблемы. Мы сосредоточились на определении мотиваций и целей мониторинга, определили самые часто используемые техники и метрики, а также выявили слабые места в нынешних решениях. Многоголосая литературная рецензия позволила обнаружить общие стратегии и различия в работах, что улучшило понимание современных подходов и недостатков в области мониторинга ML. ## Значимость Мониторинг ML может применяться в различных сферах, включая финансы, здравоохранение, переподготовку моделей и т. д., где надежность и качество выводов ML-систем критически важны. Наше исследование предоставляет базу для выбора наиболее подходящих технологий и инструментов для мониторинга, а также подчеркивает недостатки нынешних подходов. Это означает, что наши рекомендации могут влиять на развитие будущих инструментов и методов мониторинга, повышая уровень надежности и эффективности ML-систем. ## Выводы Мы изучили текущие методы мониторинга ML и выделили главные направления для будущих исследований. Основные достижения включают уточнение мотиваций, определение распространенных и новых подхо