Towards Efficient Prompt-based Continual Learning in Distributed Medical AI

## Контекст Модернизация искусственного интеллекта (AI) позволила достичь совершенства во многих областях, но в медицинской сфере существуют серьезные ограничения. Эти ограничения, включая этические, социальные и институцыонные, сильно ограничивают возможности обмена данными. Таким образом, централизованное обучение AI становится невыполнимым, и каждая медицинская организация должна инкапсулированно обновлять свои модели, опираясь только на свои локальные данные. Такой подход часто приводит к переобучению и "катастрофическому забвению" — утрате предыдущих знаний при обучении на новых данных. Дополнительно, данные в медицинских задачах часто изменяются в зависимости от оборудования и демографических факторов. Хотя технология непрерывного обучения (CL) делает модели более устойчивыми к подобным изменениям, она была основной для задач работы с натуральными изображениями. Поэтому, есть необходимость в подходах, ориентированных на характеристики медицинских приложений. ## Метод Мы предлагаем Prompt-based Continual Learning (PCL), построенный на идее стимулирующих выданных задач, где мы создаем и храним эффективное пульпу стимулов. Базовый принцип PCL заключается в том, чтобы расширять и замораживать детерминированную подгруппу стимулов, что позволяет уменьшить вычислительные затраты. В PCL также внедрено новое регуляризационное условие, которое сбалансировано между сохранением знаний и адаптацией к новым сценариям. Этот подход упрощает модель и увеличивает эффективность, что делает PCL более пригодным для распределенных систем медицинского AI. ## Результаты Мы проверили нашу модель на трех наборах данных для диагностики диабетической ретинопатии: Aptos2019, LI2019 и Diabetic Retinopathy Detection. Модель PCL показала улучшение классификационной точности в 10% и F1-метрики на 9 баллов по сравнению с современными методами. Более того, наше решение позволяет снизить на 20% затраты на вычисления во время инференса. Эти результаты подтверждают эффективность PCL в решении проблем с нехваткой данных и постоянным изменением медицинских данных. ## Значимость Наш подход имеет широкие области применения в медицинской AI, включая реали-тайное диагностирование, мониторинг пациентов и телемедицинские приложения. Он позволяет медицинским организациям повысить точность диагноза, сократить время отклика и улучшить работу с малозаполненными данными. Это может привести к более эффективному распределению ресурсов в здравоохранении и новым возможностям в распределенной медицине. ## Выводы Мы представили новый подход к непрерывному