Hybrid Adaptive Conformal Offline Reinforcement Learning for Fair Population Health Management

#### Контекст Программы управления здоровьем населения (population health management), ориентированные на получателей Medicaid, требуют алгоритмической поддержки для координации долгосрочных мероприятий и услуг (таких как помощь в получении выгод, биопсихосоматическая помощь, обеспечение субсидий и плановое лечение). Эти программы должны обеспечивать безопасность, справедливость и прозрачность. Однако существуют сложности в создании моделей, которые бы защищали от адверсных результатов (например, неплановые поездки в стационар или административные хоспитализации), при этом сохраняя эффективность в выборе действий. Баланс между качеством и безопасностью является ключевым заданием для этих программ. #### Метод Мы предлагаем фреймворк Hybrid Adaptive Conformal Offline Reinforcement Learning (HACO), который отделяет моделирование риска от оптимизации предпочтений. HACO работает в два этапа: (i) риск рассеяности оценивается через соотношение нормализованных матричных расстояний между тренировочными и тестовыми данными, и (ii) оптимизация действий происходит в сфере безопасных рекомендаций. Это реализуется через подбор порогов для нейронных сетей (conformal thresholding), который скрывает рекомендации с высоким риском. Архитектура включает легковесный модель риска для адверсных событий и политику оптимизации для выбора рекомендаций. #### Результаты Используя дезидентифицированный датасет Waymark, HACO проводил 2.77 миллиона последовательных рекомендаций по работе с 168,126 пациентами. Результаты показали, что HACO может (i) строить модели риска с AUC ~0.81, (ii) строить калиброванные пороги для безопасных рекомендаций ({\tau} ~0.038 при {\alpha} = 0.10), и (iii) сохранять высокую покрытие безопасных действий. Аудит подкаталогов показал, что модели несколько отличаются в оценке значения в различных демографических категориях, что подтверждает важность справедливого аудита. #### Значимость HACO может применяться в различных областях, таких как биомедицинские решения, управление здоровьем населения, и системы социальной поддержки. Он обеспечивает безопасные, эффективные рекомендации, снижая риск адверсных событий. Благодаря интеграции conformal risk gating внутри offline RL, HACO предлагает новую модель для построения аудируемых и консервативных решений для повышения качества здравоохранения. #### Выводы Предложенный фреймворк HACO демонстрирует значительный успех в создании аудируемых и безопасных моделей для поддержки решений в управлении здоровьем населения. Будущие исследования будут сфокусированы на расширении моделей для более сложных задач, в том числе мультиагентных систем и адаптивного обучения в реальном времени.