Longitudinal and Multimodal Recording System to Capture Real-World Patient-Clinician Conversations for AI and Encounter Research: Protocol
2509.16378v1
cs.CY, cs.CL
2025-09-24
Авторы:
Misk Al Zahidy, Kerly Guevara Maldonado, Luis Vilatuna Andrango, Ana Cristina Proano, Ana Gabriela Claros, Maria Lizarazo Jimenez, David Toro-Tobon, Oscar J. Ponce-Ponce, Juan P. Brito
Резюме на русском
#### Контекст
В последние годы наблюдается стремительный рост интереса к применению искусственного интеллекта (AI) в медицине. Однако для эффективного применения AI необходимо обучать модели на реальных данных, отражающих взаимодействия между пациентами и клиниками. Несмотря на то, что электронные медицинские рекорды (EHR) содержат биологические данные и меры здоровья, они редко хранят информацию об интеракциях между пациентами и клиниками. Эти взаимодействия, центральные для качественного здравоохранения, происходят в формате голосовых и текстовых обменов, а также видеосигналах. Их отсутствие в обучающих данных может приводить к созданию моделей AI, ограниченных биомедицинским подходом и не учитывающих живые взаимоотношения, определяющие клинические приемы. Целью данного исследования является разработка методологии для построения многомерных данных, которые бы отражали эти взаимодействия, обеспечивая более полное понимание клинических процессов.
#### Метод
Для достижения этой цели разработана мультимодальная система, которая записывает клинические встречи с использованием 360-градусной видео- и аудиозаписи. Эта система позволяет соединять записи с результатами опросов, проводимых у пациентов после каждого визита, которые оценивают такие аспекты, как эмпатия, удовлетворенность, темп взаимодействия и нагрузка от лечения. Также из EHR извлекаются демографические и клинические данные. Методология включает в себя три главных этапа: 1) регистрация встреч с помощью технологий видео- и аудиозаписи; 2) сбор опросных данных у пациентов; 3) синхронизация и анализ данных в разных модальностях. Исследование проводится в одном академическом клиническом заведении, где принимают участие клиники-специалисты. Для оценки эффективности использованы пять основных критериев: успешность подготовки клиников и пациентов, успешность записи, заполнение опросов и связь модальностей данных.
#### Результаты
По данным авторов, по месяцам июля-августа 2025 года был принят согласие 35 из 36 клиников (97%) и 212 человек из 281 подходящих пациентов (75%). Из записанных встреч было получено 162 полных наборов данных, а 204 пациента (96%) заполнили опрос. Это указывает на высокую эффективность сбора данных и их конвертацию в многомодальные ресурсы. Также был продемонстрирован успех в синхронизации записей видео, аудио, опросов и EHR, что позволило построить целостный набор данных для исследований.
#### Значимость
Предлагаемая система может быть применена в различных областях, включая обучение AI-систем
Abstract
The promise of AI in medicine depends on learning from data that reflect what
matters to patients and clinicians. Most existing models are trained on
electronic health records (EHRs), which capture biological measures but rarely
patient-clinician interactions. These relationships, central to care, unfold
across voice, text, and video, yet remain absent from datasets. As a result, AI
systems trained solely on EHRs risk perpetuating a narrow biomedical view of
medicine and overlooking the lived exchanges that define clinical encounters.
Our objective is to design, implement, and evaluate the feasibility of a
longitudinal, multimodal system for capturing patient-clinician encounters,
linking 360 degree video/audio recordings with surveys and EHR data to create a
dataset for AI research. This single site study is in an academic outpatient
endocrinology clinic at Mayo Clinic. Adult patients with in-person visits to
participating clinicians are invited to enroll. Encounters are recorded with a
360 degree video camera. After each visit, patients complete a survey on
empathy, satisfaction, pace, and treatment burden. Demographic and clinical
data are extracted from the EHR. Feasibility is assessed using five endpoints:
clinician consent, patient consent, recording success, survey completion, and
data linkage across modalities. Recruitment began in January 2025. By August
2025, 35 of 36 eligible clinicians (97%) and 212 of 281 approached patients
(75%) had consented. Of consented encounters, 162 (76%) had complete recordings
and 204 (96%) completed the survey. This study aims to demonstrate the
feasibility of a replicable framework for capturing the multimodal dynamics of
patient-clinician encounters. By detailing workflows, endpoints, and ethical
safeguards, it provides a template for longitudinal datasets and lays the
foundation for AI models that incorporate the complexity of care.
Ссылки и действия
Дополнительные ресурсы: