## Контекст Клинические диалоговые системы, основанные на больших языковых моделях (LLMs), приобрели популярность в медицине, но их оценка ставится перед значимыми вызовами. Основными проблемами являются: подробности безопасности, контекстуальные особенности бесед, реалистичность симулированных диалогов и оценка рисков. Настоящая работа призвана создать рамку для безопасных и контекстуально правильных экспериментов, позволяющую получать представление о рисках и возможностях клинических диалоговых агентов. ## Метод MATRIX (Multi-Agent simulaTion fRamework for safe Interactions and conteXtual clinical conversational evaluation) представляет собой расширяемую, структурированную систему для оценки клинических диалоговых агентов. Он состоит из: (1) безопасности-ориентированной таксономии, определяющей клинические сценарии, ожидаемое поведение системы и предполагаемые недостатки; (2) BehvJudge, LLM-ориентированной системы оценки, проверенной экспертами на выявление безопасности в диалогах; (3) PatBot, симулятора пациента, моделирующего разнообразные сценарии и поведения, проверенного с помощью знаний человеческих факторов и предпочтений пациентов. ## Результаты В трех экспериментах была продемонстрирована эффективность MATRIX в безопасной оценке диалоговых агентов. Особое внимание уделено BehvJudge, которая успешно оценивала 240 диалогов с F1-метрикой 0.96 и температурой 0.999, выигрывая при этом перед клиниками в безупречном выявлении небезопасных ситуаций. Кроме того, PatBot был оценен как надежный симулятор реальных поведений пациентов в клинических сценариях, с помощью численных и текстовых экспериментов. С помощью MATRIX было проведено 2100 диалогов в 14 сценариях опасности и 10 клинических областях, которое позволило сравнить 5 LLM-диалоговых агентов. ## Значимость MATRIX представляет собой первую систему, которая объединяет безопасность-ориентированные методы системного анализа и масштабируемую оценку контекстуальных клинических диалогов. Он может использоваться для регуляторного аудита, включая оценку рисков и безопасности в больших языковых моделях, применяемых в клинических системах, и позволяет развивать безопасные, реалистичные и контекстуально правильные клинические диалоговые системы. ## Выводы MATRIX позволяет систематически и масштабно оценивать безопасность клинических диалоговых агентов. Он оказывается эффективным для выявления рисков, оценки реалистичности и создания надежных клинических диалоговых систем. Будущими направлениями исследований будет расширение кросс-доменных о