A Graph-Based Test-Harness for LLM Evaluation

## Контекст Исследование фокусируется на разработке динамического, систематического бенчмарка для оценки моделей языковых моделей (LLM), основанного на медицинских руководствах. Проблема заключается в том, что существующие бенчмарки часто не полностью охватывают все возможные варианты взаимосвязей в руководствах, что приводит к потенциальным пробелам в оценке моделей. Мотивация заключается в создании более гибкой, динамической системы, которая может адаптироваться к изменениям в руководствах и обеспечивать более широкий обзор потенциальных недостатков моделей. ## Метод Авторы представили первую версию граф-бенчмарка, основанного на динамической трансформации руководства WHO Integrated Management of Childhood Illness (IMCI) в граф с 200+ узлов (условия, симптомы, лечения, последующие действия, серьезность) и 300+ рёбер. Использование графового пути позволило генерировать вопросы с возрастно-специфическими сценариями и контекстными отвлекательными факторами, чтобы обеспечить клиническую релевантность. Общий размер бенчмарка составляет 3.3+ триллионов возможных комбинаций вопросов, полностью охватывающих все взаимосвязи в руководстве. Этот граф-бенчмарк использовался для генерирования вопросов с целью тестирования моделей на 45-67% точности на клинических задачах, включая симптоматическое распознавание, триаж, диагностику и рекомендации последующих действий. ## Результаты Эксперименты показали, что модели демонстрируют высокую точность в симптоматическом распознавании, но сильно страдают от недостатка в триаже, правильных рекомендациях по лечению и следствию. Бенчмарк позволил выявить конкретные проблемные области в поведении моделей, которые не охвачены общими тестами. Это динамическая методика оценки позволяет генерировать новые вопросы для каждого изменения в руководстве, что обеспечивает контроль над качеством моделей при изменениях в клинических практиках. ## Значимость Разработанный граф-бенчмарк имеет широкие применения в области оценки языковых моделей в медицинских сценариях, включая обучение с подкреплением (supervised fine-tuning), GRPO (Generative Reinforcement Pre-training) и DPO (Dynamic Pre-training). Этот подход обеспечивает высокую гибкость, требуя меньших затрат на аннотацию в сравнении с традиционными методами. Бенчмарк также обеспечивает контроль над качеством моделей в процессе их развития и корректировке в зависимости от изменений в клинических руководствах. ## Выводы Разработанный граф-бенчмарк является новаторским подходом к созданию динамических, систематических методов оценки моделей языковых моделей. Он эф