ProMed: Shapley Information Gain Guided Reinforcement Learning for Proactive Medical LLMs

## Контекст Интерактивность — ключевой аспект в реальном клиническом практиковании, где врачи активно собирают информацию у пациентов для точного диагноза. Медицинские Large Language Models (LLMs) доказали свою эффективность в реактивной модели, отвечая на вопросы без дополнительной информационной подготовки. Однако в реальных клинических ситуациях, где отсутствует полная информация, реактивная модель может привести к ошибочным выводам. Для перехода к проактивной модели, где модели могут спрашивать дополнительные вопросы для повышения точности, мы предлагаем ProMed — новую стратегию, основанную на reinforcement learning (RL). ProMed способствует переходу LLMs с реактивной модели к проактивной, где модели могут спрашивать пациентов и использовать эту информацию для более точных решений. ## Метод ProMed основывается на Shapley Information Gain (SIG), методе, который оценивает важность каждого вопроса в контексте клинической информации. SIG вычисляется с помощью Shapley values, которые выражают значимость каждого вопроса в зависимости от его вклада в понимание ситуации. Мы предлагаем две стадии обучения: (1) SIG-Guided Model Initialization использует Monte Carlo Tree Search (MCTS) для построения высоко-ревардных траекторий взаимодействия, которые затем используются для начальной тренировки модели, и (2) SIG-Augmented Policy Optimization, где мы используем SIG для улучшения RL-политики, присваивая больший вес информативным вопросам. Это позволяет модели оптимизироваться направленно, сфокусировавшись на самых полезных вопросах. ## Результаты Мы проводим эксперименты на двух новых корпусах частичной клинической информации. Наши результаты показывают, что ProMed значительно выдает лучшие результаты по сравнению с состоянием искусства, повышая точность на среднем уровне 6.29%. Более того, ProMed показывает выдающиеся результаты в переквалификации к другим областям, демонстрируя его универсальность и надёжность. Ключевой преимуществом является реализация проактивного подхода, где модель не только отвечает, но и активно ищет дополнительную информацию, что повышает свою эффективность в реальных клинических сценариях. ## Значимость Помимо его прямого применения в клинической практике, ProMed может быть использован в других областях, где требуется проактивное взаимодействие с данными, таких как финансы, юриспруденция, и даже общие задачи взаимодействия с ЛЛМ. Этот подход предлагает значительные преимущества, включая повышение точности диагноза, эффективность в использовании информации, и универсальность, которая позволяет применять его в различных сферах. Мы считаем, что ProMed открывает новые горизонты в исследованиях по RL в медици