Эмоции — важный аспект человеческого общения, требующий точного распознавания для эффективного взаимодействия с ИИ. Несмотря на развитие многоканальных методов распознавания эмоций, существуют проблемы с точностью, особенно при использовании однотипных данных. В статье предлагается мультимодальный подход к распознаванию эмоций, основанный на использовании Conditional Generative Adversarial Networks (cGAN). Это сети, которые генерируют синтетические эмоционально нагруженные данные, улучшая обучение модели на множестве данных. Разработанная модель обучалась на сочетании текстовых, звуковых и лицевых выражений, повысив точность распознавания эмоций. Эксперименты показали, что система превосходит базовые методы, демонстрируя перспективы cGAN в улучшении человеко-компьютерного взаимодействия через более точное распознавание эмоций. Результаты открывают новые возможности в развитии систем, требующих понимания человеческих эмоций.

**Резюме** В Augmented Reality (AR) системах, улучшающих задачу через реальноходную навигацию, существует риск вызвать когнитивное ангажирование, приводящее к потере ситуационного осознания (SA) в критичных ситуациях. В данной работе рассматривается SA в AR-гидрованных мероприятиях по крдиопомповой ресусцитации (CPR), где ответчик должен консервать эффективные компрессии и следить за непредсказуемыми рисками (например, возможным вмешательством). Мы разработали AR-приложение на Magic Leap 2, которое отображает реальному времени компрессии глубину и скорость, и провели исследование с участием пользователей, в котором симулировали непредвиденные ситуации (например, кровотечение). Метрики SA были определены с помощью наблюдений и опросов во время замороженных моментов. Анализ треков взгляда показал, что высокие уровни SA сочетаются с более сильными и краткими саккадами, а также с меньшим процентом и частотой фиксаций на виртуальном содержании. Мы предложили FixGraphPool, графовую нейронную сеть, которая строит динамические модели SA на основе графов спацио-временных данных глаза. Наш алгоритм показал 83.0% точность (F1=81.0%), превосходя временные ряды и машинное обучение. Эти результаты демонстрируют потенциал треков взгляда для моделирования SA в AR и его применение в создании безопасных AR-систем.