Bridging Performance Gaps for Foundation Models: A Post-Training Strategy for ECGFounder

#### Контекст Фундаментальные модели (foundation models) получили большое применение в медицине, включая обработку электрокардиограмм (ECG). Однако, даже после пре-тренировки на больших данных и оптимизации для конкретных задач, эти модели часто сталкиваются с проблемой выполнения в сравнении с задачевоспособными моделями. Это относится и к ECGFounder, предложенной в современной работе, которая, несмотря на предварительное обучение на 7 миллионов ECG-записей, сталкивается с проблемой выполнения после подготовки к конкретным задачам. Это вызвано тем, что существующие методы пост-тренировки неэффективны для оптимизации таких моделей. Мы предлагаем новую пост-тренировочную стратегию, которая улучшает показатели ECGFounder и демонстрирует высокую эффективность в сравнении с другими подходами. #### Метод Мы предложили простой, но эффективный пост-тренировочный подход для улучшения ECGFounder. Архитектура основывается на использовании **stochastic depth** и **preview linear probing**. Эти методы позволяют улучшить устойчивость модели и её возможность предсказать на небольших обучающих выборках. Мы использовали данные PTB-XL для экспериментов, измеряя показатели качества, такие как AUROC и AUPRC. Метод был сравнен с текущими лучшими подходами, включая другие модели, оптимизированные для электрокардиографии. #### Результаты Наши эксперименты показали, что пост-тренировка с помощью нашего подхода улучшает базовый показатель AUROC на 1.2%-3.3% и AUPRC на 5.3%-20.9% по сравнению с текущими лучшими подходами. Этот подход также демонстрирует более высокую устойчивость и эффективность в обучении на небольших выборках, улучшая результаты на 9,1% в AUROC и 34,9% в AUPRC при использовании только 10% обучающих данных. Мы также проверили эффективность отдельных компонентов, таких как stochastic depth и preview linear probing, которые способствуют улучшению модели. #### Значимость Наш подход имеет широкое применение для улучшения фундаментальных моделей в области обработки ECG, решая проблему производительности после подготовки к задаче. Он демонстрирует высокую эффективность в сравнении с другими подходами и может быть применен для улучшения других моделей в медицинских задачах. Этот подход может повысить уровень доступности и точности обработки ECG в клинической практике. #### Выводы Мы показали, что наша пост-тренировочная стратегия эффективно улучшает производительность ECGFounder и превосходит другие подходы в области обработки ECG. Наши результаты открывают путь для дальнейшего исследования пост-тренировочных методов для фундаментальных моделей, которые могут повысить уровень доступности и точности обработки данных в медицине. Мы планируем провести допо