Explain and Monitor Deep Learning Models for Computer Vision using Obz AI

## Контекст Deep learning (DL) сделал переломный прорыв в области компьютерного зрения (CV), достигнув впечатляющих результатов в таких задачах, как классификация, сегментация и другие. Теперь эти AI-базированные системы CV распространяются на различные сферы, включая медицинское изображение, технологии слежения и безопасность. Однако современные модели CV, такие как ленивые сверточные сети (CNNs) и трансформеры для видюх (ViTs), часто относятся к "черным ящикам", т.к. их решения остаются непонятными, что затрудняет понимание и ответственное использование. Хотя в последнее время развивается область explainable AI (XAI), её применение в производстве CV до сих пор ограничено. Основной причиной является отсутствие интегрированных решений, которые объединяли бы XAI-техники с системами управления знаниями и мониторинга. Это является фундаментальной проблемой, которую мы пытаемся решить с помощью Obz AI. ## Метод Obz AI представляет собой инновационную платформу, которая объединяет XAI-технологии и мониторинг в реальном времени в унифицированном экосистеме. Её центральная часть — Python client library, позволяющая интегрировать XAI-методологии, такие как SHAP, LIME, и Grad-CAM, прямо в ваши DL-модели. Далее, платформа предлагает мощный аналитический дашборд, работающий в реальном времени, для отображения результатов XAI, анализа outlier detection и мониторинга производительности моделей. Отдельно отметим архитектуру, основанную на микросервисных технологиях, что обеспечивает высокую масштабируемость и надежность. Эти инструменты позволяют ML-инженерам не только понять работу своих моделей, но и отслеживать их в процессе работы, что обеспечивает доверие и ответственность в их развёртывании. ## Результаты Мы проводили эксперименты с различными моделями CV, включая CNNs и ViTs, чтобы оценить эффективность Obz AI в ряде сценариев. Использовались данные с различных источников, включая ImageNet и наборы данных медицинской импедиметрии. Результаты показали, что Obz AI обеспечивает повышенную транспарентность в решениях моделей, улучшает отслеживаемость процесса обучения, и позволяет отслеживать временные шкалы поведения моделей на живых данных. Например, использование Grad-CAM в сочетании с Obz AI позволило выявить нестандартные сценарии в данных, связанные с outliers, что демонстрирует важность нашего подхода в реальном мире. ## Значимость Obz AI имеет широкое применение в различных областях, где XAI и мониторинг важны для успешного развёртывания AI-систем. Например, в медицинской импедиметрии, модели могут объяснить свои решения, что повышает доверие врачей. В слеженческих систем