Generative Medical Event Models Improve with Scale
2508.12104v1
cs.LG, cs.AI, cs.CL
2025-08-19
Авторы:
Shane Waxler, Paul Blazek, Davis White, Daniel Sneider, Kevin Chung, Mani Nagarathnam, Patrick Williams, Hank Voeller, Karen Wong, Matthew Swanhorst, Sheng Zhang, Naoto Usuyama, Cliff Wong, Tristan Naumann, Hoifung Poon, Andrew Loza, Daniella Meeker, Seth Hain, Rahul Shah
Резюме на русском
Описание:
## Контекст
Реализация персонализированной медицины на масштабах требует методов, которые могут извлечь сводки из длительных пациентских историй, представленных в виде последовательностей медицинских событий. Особенно обнадеживают в этом плане модели основательного типа, обученные на больших медицинских базах. Методы такого рода могут способствовать эффективному выявлению закономерностей в медицинских данных и их применению для решения разных задач в сфере клинического управления и повышения качества здравоохранения.
## Метод
Мы представляем Cosmos Medical Event Transformer (CoMET) - новую семейство декодерных моделей преобразователей, обученных на огромных масштабах с помощью данных о медицинских событиях. Используя Epic Cosmos, который включает в себя медицинские истории более 300 миллионов пациентов в 310 здравоохранных системах, мы обучили модель CoMET на базе 118 миллионов пациентов, отражающих 115 миллионов медицинских событий (151 миллиардов токенов). Кроме того, мы провели наиболее широкий компьютерный эксперимент для моделей медицинских событий, выявляя силуэтные зависимости между размером модели, количеством вычислений и объемом обучающих данных. Модели CoMET были подготовлены с помощью различных мощностей (до 1 миллиарда параметров), чтобы оптимизировать вычисления для различных задач.
## Результаты
Мы экспериментально проверили CoMET на 78 реальных задачах, таких как предсказание диагноза, прогноз болезни и оптимизация здравоохранения. Модель показала выдающиеся результаты, наблюдая закономерности повышения качества с ростом размера модели и объема обучающих данных. Особенно заметно был ее превосходство над задачеориентированными моделями, которые требуют задачи-специфической настройки, а также над такими методами, как парусь или шаотренировки. В целом, CoMET также показала свои преимущества в ситуациях необходимости быстрого решения задач, работая без дополнительных данных или примеров.
## Значимость
Модель CoMET может быть применена во многих сферах, включая клиническое принятие решений, оптимизацию линий здравоохранения и повышение пользовательских опытов. Один из основных преимуществ CoMET заключается в том, что она может быть использована для повышения качества работы системы здравоохранения, без необходимости сложных настроек модели. Это может привести к более быстрому развитию разработок в сфере здравоохранения и снижению количества ошибок.
## Выводы
Мы доказали, что модель CoMET, основанная на авторегрессии, может эффективно предсказывать следующие медицинские события, помогая улучши
Abstract
Realizing personalized medicine at scale calls for methods that distill
insights from longitudinal patient journeys, which can be viewed as a sequence
of medical events. Foundation models pretrained on large-scale medical event
data represent a promising direction for scaling real-world evidence generation
and generalizing to diverse downstream tasks. Using Epic Cosmos, a dataset with
medical events from de-identified longitudinal health records for 16.3 billion
encounters over 300 million unique patient records from 310 health systems, we
introduce the Cosmos Medical Event Transformer ( CoMET) models, a family of
decoder-only transformer models pretrained on 118 million patients representing
115 billion discrete medical events (151 billion tokens). We present the
largest scaling-law study for medical event data, establishing a methodology
for pretraining and revealing power-law scaling relationships for compute,
tokens, and model size. Based on this, we pretrained a series of
compute-optimal models with up to 1 billion parameters. Conditioned on a
patient's real-world history, CoMET autoregressively generates the next medical
event, simulating patient health timelines. We studied 78 real-world tasks,
including diagnosis prediction, disease prognosis, and healthcare operations.
Remarkably for a foundation model with generic pretraining and simulation-based
inference, CoMET generally outperformed or matched task-specific supervised
models on these tasks, without requiring task-specific fine-tuning or few-shot
examples. CoMET's predictive power consistently improves as the model and
pretraining scale. Our results show that CoMET, a generative medical event
foundation model, can effectively capture complex clinical dynamics, providing
an extensible and generalizable framework to support clinical decision-making,
streamline healthcare operations, and improve patient outcomes.
Ссылки и действия
Дополнительные ресурсы: