RanAT4BIE: Random Adversarial Training for Biomedical Information Extraction

## Контекст Биомедицинская информационная обработка (BioIE) является ключевым разделом в области прикладной науки и искусственного интеллекта, нацеленным на извлечение полезной информации из биомедицинских текстов. Одним из основных задач в BioIE является классификация медицинских сущностей, таких как лекарственные средства, болезни и лечебные процедуры. Несмотря на то, что в последние годы были достигнуты существенные улучшения в этой области с помощью предварительно обученных языковых моделей (PLMs), таких как PubMedBERT, эти модели часто сталкиваются с проблемами, такими как нехватка гибкости и высокая зависимость от больших объемов данных для обучения. Беспокоят также высокие затраты на вычислительные ресурсы, которые необходимы для обучения и использования этих моделей. Ранее применение методов адверсарного обучения (adversarial training, AT) в BioIE показало улучшение производительности, однако они также приводят к дополнительным затратам на вычислительные ресурсы. Данное исследование ориентируется на создание эффективного метода, который сочетает гибкость и эффективность обучения, уменьшая в то же время требования к вычислительным ресурсам. ## Метод Разработанная методология, названная **Random Adversarial Training (RAT)**, представляет собой усовершенствованный подход к адверсарному обучению. Основная идея заключается в использовании стратегии случайного выбора данных для создания адверсарных примеров, чтобы улучшить гибкость и устойчивость модели. Это отличается от традиционных методов, где адверсарные примеры генерируются статично или во всем масштабе данных. Метод RAT позволяет уменьшить вычислительные затраты, поскольку только выбранные случайно примеры учавствуют в адверсарном обучении. Для реализации этого подхода, авторы используют предварительно обученную языковую модель PubMedBERT, добавляя дополнительные слои для адаптации к задаче. Архитектура RAT включает в себя следующие шаги: 1) случайный выбор данных для адверсарных примеров, 2) формирование адверсарного примера с помощью метода градиентного подрыва (gradient-based perturbation), 3) обновление весов модели на основе исходного примера и адверсарного примера. Это улучшение способствует более эффективному использованию ресурсов и повышению производительности на задачах BioIE. ## Результаты Для оценки эффективности RAT, авторы проводили подробное сравнение с традиционными методами адверсарного обучения, а также с другими современными предварительно обученными языковыми моделями, такими как BioBERT и ClinicalBERT. Использовались данные из больших биомедицинских коллекций, таких как PubMed. Результаты показали, что RAT не только пре