Reproducible workflow for online AI in digital health
2509.13499v1
cs.CY, cs.AI
2025-09-19
Авторы:
Susobhan Ghosh, Bhanu T. Gulapalli, Daiqi Gao, Asim Gazi, Anna Trella, Ziping Xu, Kelly Zhang, Susan A. Murphy
Резюме на русском
## Контекст
Онлайн-алгоритмы искусственного интеллекта (AI) являются ключевым компонентом цифровых здравоохранных интервенций. Они предназначены для непрерывного обучения и улучшения своих результатов на основе потока данных, собираемых у индивидуумов. Однако развертывание онлайн-AI связано с важной проблемой: сочетанием гибкости этой системы с возможностью ее воспроизведения. Онлайн-AI в цифровых здравоохранных интервенциях находится в быстро развивающейся области, которая порождена прогрессом в алгоритмах, сенсорах, программном обеспечении и устройствах. Разработка и развертывание цифровых здравоохранных интервенций является непрерывным процессом, в котором развертывание, включая алгоритмы принятия решений AI, чередуются с циклами переработки и оптимизации. Каждое развертывание способствует следующему, что делает итеративность определяющей для этой области. Таким образом, репродуцированность является ключевой характеристикой: сбор данных во время развертываний должен быть точным, чтобы иметь научную ценность, поведение алгоритмов должно быть прозрачным для аудита, а результаты должны быть сравнимыми для обеспечения научного прогресса и доверительного совершенствования. Данная работа предлагает репродуцируемую научную рабочую программу для разработки, развертывания и анализа онлайн-AI-алгоритмов принятия решений в цифровых здравоохранных интервенциях. Основываясь на практических опытах из нескольких реальных развертываний, эта работа адресует ключевые проблемы репродуцированности на всех этапах жизненного цикла развития онлайн-AI-алгоритмов.
## Метод
Методология, предлагаемая в этой работе, состоит из следующих элементов: (1) **этап разработки**, включающий разработку алгоритмов, тестирование их на наборах данных, отражающих настоящий мир, и проверку возможности их воспроизведения; (2) **этап развертывания**, включающий непрерывное развертывание алгоритмов в реальной среде с наблюдением за их поведением, а также сбором и хранением данных; (3) **этап анализа**, включающий повторное тестирование, сравнение результатов с предыдущими этапами и документирование всех изменений. Архитектура рабочей программы основывается на трех основных компонентах: (а) **репозитории с кодом и данными** для гарантии доступности и аудитности; (b) **система мониторинга и логирования** для отслеживания поведения AI в реальном времени; (c) **инструменты для визуализации и анализа результатов**, которые позволяют проследить за изменениями в поведении AI в течение времени. Эта методология гара
Abstract
Online artificial intelligence (AI) algorithms are an important component of
digital health interventions. These online algorithms are designed to
continually learn and improve their performance as streaming data is collected
on individuals. Deploying online AI presents a key challenge: balancing
adaptability of online AI with reproducibility. Online AI in digital
interventions is a rapidly evolving area, driven by advances in algorithms,
sensors, software, and devices. Digital health intervention development and
deployment is a continuous process, where implementation - including the AI
decision-making algorithm - is interspersed with cycles of re-development and
optimization. Each deployment informs the next, making iterative deployment a
defining characteristic of this field. This iterative nature underscores the
importance of reproducibility: data collected across deployments must be
accurately stored to have scientific utility, algorithm behavior must be
auditable, and results must be comparable over time to facilitate scientific
discovery and trustworthy refinement. This paper proposes a reproducible
scientific workflow for developing, deploying, and analyzing online AI
decision-making algorithms in digital health interventions. Grounded in
practical experience from multiple real-world deployments, this workflow
addresses key challenges to reproducibility across all phases of the online AI
algorithm development life-cycle.
Ссылки и действия
Дополнительные ресурсы: