Adoption, usability and perceived clinical value of a UK AI clinical reference platform (iatroX): a mixed-methods formative evaluation of real-world usage and a 1,223-respondent user survey
2509.21188v1
cs.HC, cs.AI, cs.CY, cs.IR
2025-09-27
Авторы:
Kolawole Tytler
Резюме на русском
## Контекст
Современная клиническая практика сталкивается с возрастающим объемом биомедицинской литературы и клинических рекомендаций, что создает проблему информационного захламления. Это негативно сказывается на возможности клиников принимать обоснованные решения, основанные на доказательствах. Искусственный интеллект (ИИ), особенно в виде технологий объемных языковых моделей, предлагает возможность автоматизировать поиск и анализ клинической информации, обеспечивая быстрые и проверенные ответы. Несмотря на эту потенцию, эффективность и применяемость таких систем в реальных клинических условиях до сих пор требуют подтверждения.
В этом контексте вводится iatroX — новая клиническая система, основанная на технологии реактивной генерации (RAG), разработанная для поддержки клиников в Лондоне. Её целью является предоставление проверенных, ссылкой на источники ответов на клинические вопросы в реальном времени. Данная статья описывает ранние результаты её применения в условиях реальной клинической среды и оценивает её принятие, удобство использования и клиническую ценность.
## Метод
Данные для исследования были собраны в течение 16 недель (от 8 апреля до 31 июля 2025 года) с помощью аналитики сайта и мобильных приложений. Использовался скрипт, рандомизировавший опросы пользователей в 10% случаев, чтобы изучить их мнение о системе. Ответы были анализированы с помощью тематического анализа. Также проводился ретроспективный анализ поведения пользователей в приложении, включая метрики посещений, количество запросов и распространение среди мобильных пользователей.
## Результаты
Платформа iatroX была оценена по данным от 1,223 клиников. Оценка пользователей показала, что 86.2% считают платформу полезной, 75.0% оценили её точность, а 79.4% — надежность. Более 93% пользователей заявили, что были бы готовы использовать её снова, а 88.4% — рекомендовать другим клиникам. Среди тех, кто принял участие в опросе, значительное количество отметило быстроту и то, что система предоставляет рекомендации, ориентированные на клинические руководства. Мобильные приложения (для iOS и Android) также получили высокую популярность, особенно в средине Android-пользователей.
## Значимость
Результаты показывают, что iatroX может помочь клиников бороться с информационным захламлением, предоставляя быстрые, достоверные ответы, которые опираются на клинические руководства. Она может быть использована как инструмент для повышения эффективности и качества клинического решающего процесса. Эти находки имеют потенциал влиять на развитие ИИ в клинической практик
Abstract
Clinicians face growing information overload from biomedical literature and
guidelines, hindering evidence-based care. Retrieval-augmented generation (RAG)
with large language models may provide fast, provenance-linked answers, but
requires real-world evaluation. We describe iatroX, a UK-centred RAG-based
clinical reference platform, and report early adoption, usability, and
perceived clinical value from a formative implementation evaluation. Methods
comprised a retrospective analysis of usage across web, iOS, and Android over
16 weeks (8 April-31 July 2025) and an in-product intercept survey. Usage
metrics were drawn from web and app analytics with bot filtering. A client-side
script randomized single-item prompts to approx. 10% of web sessions from a
predefined battery assessing usefulness, reliability, and adoption intent.
Proportions were summarized with Wilson 95% confidence intervals; free-text
comments underwent thematic content analysis. iatroX reached 19,269 unique web
users, 202,660 engagement events, and approx. 40,000 clinical queries. Mobile
uptake included 1,960 iOS downloads and Android growth (peak >750 daily active
users). The survey yielded 1,223 item-level responses: perceived usefulness
86.2% (95% CI 74.8-93.9%; 50/58); would use again 93.3% (95% CI 68.1-99.8%;
14/15); recommend to a colleague 88.4% (95% CI 75.1-95.9%; 38/43); perceived
accuracy 75.0% (95% CI 58.8-87.3%; 30/40); reliability 79.4% (95% CI
62.1-91.3%; 27/34). Themes highlighted speed, guideline-linked answers, and UK
specificity. Early real-world use suggests iatroX can mitigate information
overload and support timely answers for UK clinicians. Limitations include
small per-item samples and early-adopter bias; future work will include
accuracy audits and prospective studies on workflow and care quality.