Deep learning and abstractive summarisation for radiological reports: an empirical study for adapting the PEGASUS models' family with scarce data

## Контекст Область исследования — искусственный интеллект в сфере медицины, а именно — автоматическая суммирования радиологических отчетов. Этот вопрос приобретает важность в связи с ростом количества данных в области радиологии, что создает необходимость в эффективных инструментах для автоматического суммирования медицинских текстов. Несмотря на прогресс в области глубокого обучения, абстрактное суммирование всё ещё представляет собой вызов, особенно в ситуациях, когда данные ограничены и потребность в точности высока. Целью данной работы является исследование и анализ процесса адаптации нейронных сетей семейства PEGASUS к специализированной области — радиологическим отчетам. Ещё одной целью является определение оптимальных параметров моделей и изучение рисков переобучения и недообучения при малом объёме данных. ## Метод Для решения поставленных задач использовались модели PEGASUS и PEGASUS-X. Подход к адаптации заключался в гибком модифицировании этих моделей, включая fine-tuning с использованием специально подготовленной медицинской выборки. Для оценки моделей использовались метрики семантической и лексической точности, включая BLEU, ROUGE, METEOR. Модели тренировались на данных, содержащих 230 тысяч реальных радиологических отчетов. Выборка данных была разделена на train/validation/test в соотношении 80/10/10. Для каждой модели проводился эксперимент с разными размерами моделей, чтобы изучить влияние размера на обучение. ## Результаты PEGASUS демонстрировал различные этапы тренировки, включая "двойное убывание" и "пика, падение и восстановление". PEGASUS-X, при использовании большего размера модели, показал снижение производительности по сравнению с меньшим размером модели. Семантические и лексические метрики показали, что при малом объёме данных модель PEGASUS-X в ситуациях ошибочного размера модели может работать хуже, чем PEGASUS. Эта ситуация подчёркивает острость проблемы в случае недостатка данных и высокой выразительности моделей. ## Значимость Результаты имеют практическое применение в сфере медицины, особенно в автоматизации суммирования радиологических отчетов. Модели PEGASUS могут быть применены для создания эффективных систем, которые уменьшают время, затрачиваемое на ручное суммирование клинических данных. Благодаря этому можно улучшить качество и эффективность работы врачей. Это также открывает пути для дальнейшего исследования методов fine-tuning моделей с высоким уровнем выразительности в ситуациях с ограниченным количеством данных. ## Выводы Данная работа показывает, что адаптация моделей PEGASUS к специализированным данным мож