Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs

## Контекст Клинические заметки в электронных системах хранения здравоохранения (EHR) являются обширными, шумными и часто повторяющимися, что создает значительные сложности для клинического разума при работе с этими данными. Большие языковые модели (LLM) предлагают возможность автоматизировать эти задачи, но длина истории пациента часто превышает их возможности. Новые подходы, такие как Retrieval-Augmented Generation (RAG), предлагают новые возможности, используя задачу-специфичные вспомогательные данные для сокращения объема требуемых входных данных. Этот подход может быть эффективен для решения клинических задач, позволяя использовать дополнительные источники информации без необходимости обрабатывать всю историю пациента. ## Метод Для тестирования RAG были разработаны три клинические задачи, которые могут быть повторно применены в разных системах здравоохранения: 1) извлечение процедур со сканированием, 2) генерация хронологии использования антибиотиков, и 3) идентификация ключевых диагнозов. Данные были извлечены из EHR живых пациентов, и для тестирования были использованы три языковые модели с разным количеством контекста, включая целевую выборку искомых данных и последние заметки клиников. Эксперименты были проведены с целью выявить, насколько RAG может приблизиться к полной модели, сохранив ограниченный объем входных данных. ## Результаты Работу показали, что RAG в большинстве случаев показывает результаты, которые приближаются к полной модели, но требуют значительно меньшего объема входных данных. Например, в тестировании на генерации хронологии антибиотиков и извлечении ключевых диагнозов, RAG показала почти одинаковую точность с полной моделью, при этом использовала от 2 до 4 раз меньше входных данных. В задаче извлечения процедур со сканированием применение RAG привело к незначительному ухудшению качества, но все еще оставалось высоким. ## Значимость Результаты показывают, что RAG является более эффективным подходом для обработки длинных EHR в клиническом контексте, чем традиционные подходы, такие как использование последних заметок. Он может быть применен в различных клинических задачах, таких как выявление ключевых диагнозов, генерация хронологии, или анализ процедур. Этот подход не только экономит ресурсы, но и может существенно улучшить точность и эффективность клинического разума. ## Выводы Работа подтверждает значимость RAG в тех случаях, когда требуется обработка длинных и шумных данных, таких как EHR. Будущие исследования будут направлены на то, как можно улучшить RAG, оптимизировав методы поиска в