📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Andrey Sakhovskiy, Elena Tutubalina
## Контекст
Биомедицинские тексты характеризуются сложностью и специфичностью, порождая вызовы для понимания и извлечения полезной информации. Особенно сложной является интеграция данных из биомедицинских знаний графов (КГ) с моделями языка (LLM), требуя улучшенных методов для повышения точности и полноты представлений. Традиционные подходы часто ограничены их невозможностью адекватно различать и ассоциировать сложные биомедицинские понятия. Мотивировано тем, что понимание текста может быть значительно повышено путем внедрения внешних знаний из КГ, авторы предлагают BALI, метод, который способен синхронно учитывать языковые модели и КГ для более точного и глубокого представления биомедицинской литературы.
## Метод
BALI предлагает совместное обучение языковой модели (LM) и КГ с использованием двух ключевых компонентов: графического кодировщика и механизма выравнивания представлений. Метод применяет Систему Медицинской Лингвистики (UMLS) для связывания биомедицинских понятий в тексте с КГ и создания локальных подграфов в качестве положительных образцов для обучения. Модель работает путем связывания биомедицинских понятий в тексте с графом, а затем используя эти связи для создания новых представлений, которые более точно отражают контекстную информацию. Это двойное обучение позволяет BALI улучшить качество представления без потери общей гибкости модели.
## Результаты
Авторы провели эксперименты с BALI, использовав широкий набор задач, включая семантическое понимание текста, классификацию и вывод выводов. Использовались новые модели, такие как PubMedBERT и BioLinkBERT, которые были лучше обучены с помощью BALI. Результаты показали, что новый подход значительно повышает точность задач понимания языка и улучшает представление сущностей. Даже при минимальном обучении на небольшом наборе данных из PubMed, BALI показал способность повысить качество представлений сущностей и повысить точность моделей.
## Значимость
BALI может быть применен в различных областях, включая выявление отношений в биомедицинских текстах, анализ литературы и поиск информации. Он предлагает преимущества в том числе улучшенной точности, повышенной гибкости и полноте представлений. Это может привести к новым возможностям в области биоинформатики, помогая специалистам быстрее и эффективнее выполнять задачи связанные с извлечением и анализом данных.
## Выводы
BALI представляет собой перспективный подход к улучшению представлений биомедицинского языка, используя КГ и языковые модели. Он по
Annotation:
In recent years, there has been substantial progress in using pretrained
Language Models (LMs) on a range of tasks aimed at improving the understanding
of biomedical texts. Nonetheless, existing biomedical LLMs show limited
comprehension of complex, domain-specific concept structures and the factual
information encoded in biomedical Knowledge Graphs (KGs). In this work, we
propose BALI (Biomedical Knowledge Graph and Language Model Alignment), a novel
joint LM and KG pre-training method that aug...