Bridging the behavior-neural gap: A multimodal AI reveals the brain's geometry of emotion more accurately than human self-reports

#### Контекст Описание эмоций и их нейробиологических оснований является ключевым аспектом понимания человеческого разума и связи. Однако существует затруднение в том, как точно представить эмоции в высокомерной структуре и как эти представления соотносятся с нейробиологическими процессами. Одним из основных вызовов является `behavior-neural gap' (разрыв между поведением и нейробиологией), относительной неэффективностью субъективных самоподготовленных оценок для предсказания нейробиологической активности. В данном исследовании предполагается, что широкомасштабные субъективные оценки могут более точно отражать нейробиологические паттерны, чем стандартные линейные самоподготовленные оценки. #### Метод Исследование основывается на создании и использовании многомодальной большой модели языка (MLLM), а также модели на основе текста (LLM). Методом проведения экспериментов стали опросы с помощью трёхмодальных видео, чтобы собирать многомиллионные трехотсовые оценки пользователей. Модели, выступая как `cognitive agents', предсказывали взаимосвязи между эмоциями в заданиях odd-one-out. Учитывая сложность входных данных, разработали 30-мерные векторные представления, которые отражают эмоциональную структуру. #### Результаты Результаты показали, что MLLM представляет 30-мерную структуру эмоций, которая показала лучшую точность в предсказании нейробиологической активности, выше чем LLM и даже представления, полученные напрямую от поведенческих оценок. Эмбеддинги MLLM соотносятся с нейробиологическими данными процессов эмоций, предлагая более точное представление структуры эмоций. Это демонстрирует, что модели могут автономно формировать богатые представления эмоций, которые лучше соотносятся с нейробиологическими данными. #### Значимость Полученные результаты показывают, что модели могут быть эффективными инструментами для строительства моделей эмоций, которые ближе соответствуют нейробиологическим процессам. Это может иметь значительное значение в области лечения психических расстройств, обучения интеллектуальных систем и понимания связи между человеческим опытом и нейробиологическими механизмами. #### Выводы На основе этих результатов можно сделать вывод, что MLLM-модели способны автономно формировать сложные представления эмоций, лучше соотносящиеся с нейробиологическими данными. На будущее, необходимо продолжать исследования в области связи между поведением, эмоциями и нейробиологическими процессами, используя модели с большим объемом анализа.