Wearable Music2Emotion : Assessing Emotions Induced by AI-Generated Music through Portable EEG-fNIRS Fusion

## КОНТЕКСТ И ПРОБЛЕМАТИКА Изучение эмоций и их связи с музыкой представляет собой важный аспект в области affective computing и нейротехнологий. Музыка известна как мощный стимул для индукции эмоций, и её применение в комбинации с техниками Brain-computer Interface (BCI) открывает новые возможности для оценки и регуляции эмоционального состояния. Однако существующие исследования сталкиваются с тремя ключевыми проблемами. Во-первых, **ограничения в выборе стимулов**: традиционные музыкальные корпусы ограничены по размеру из-за проблем с авторскими правами и высокими затратами на кураторство. Это приводит к субъективности выбора музыки, основанной на грубой корреляции между эмоциями и музыкальными характеристиками, которая не учитывает индивидуальные эмоциональные профили. Во-вторых, **ограниченность модальности данных**: многие исследования основываются на унимодальных данных, таких как электроэнцефалография (EEG), что ограничивает понимание эмоциональных процессов, так как игнорируются дополнительные данные из других модальностей, таких как функциональная оптическая томография (fNIRS). В-третьих, **ограниченность портативности**: традиционные системы, такие как штатные гелевые EEG-капы с большим числом каналов, тяжелые и неудобные для повседневного использования, что создает значительные препятствия для реального применения. Для решения этих проблем, исследование предлагает MEEtBrain – инновационный портативный мультимодальный фреймворк, который комбинирует музыку, сгенерированную с помощью искусственного интеллекта (AI), с одновременной записью EEG и fNIRS с помощью лёгкого беспроводного головного устройства, оснащенного сухой электродой. ## ПРЕДЛОЖЕННЫЙ МЕТОД MEEtBrain представляет собой комплексное решение для анализа эмоций (валентность/возбудимость) с помощью мультимодальных нейрофизиологических сигналов. Основными компонентами фреймворка являются: 1. **AI-генерированные музыкальные стимулы**: Искусственный интеллект генерирует музыку в реальном времени, обеспеченную разнообразием и устраняющую субъективность выбора стимулов. 2. **Портативное устройство**: Головное устройство в виде лёгкого беспроводного бандана, оснащенного сухой электродой, позволяет одновременно записывать EEG и fNIRS. Это обеспечивает высокую портативность и комфорт для пользователя. 3. **Мультимодальный анализ**: Данные EEG и fNIRS синхронизированы, что позволяет получать более глубокие и точные инсайты в эмоциональные реакции на музыку. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для проверки эффективности фреймворка было проведено исследование с 20 участниками, в ходе которого была собрана 14-часовая база данных. Участники слушали музыку, сгенерированную AI, при этом регистрировались их эмоциональные реакции через EEG и fNIRS. Результаты показали, что AI-генерированная музыка эффективно индуцирует целевые эмоции (валентность/возбудимость). В настоящее время исследование продолжается, и база данных расширена до 44 участников. Данные будут доступны в открытом доступе для дальнейшего исследования и применения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ MEEtBrain имеет широкое применение в областях психотерапии, управления стрессом, и взаимодействия человека с искусственным интеллектом. Портативность и мультимодальность делают его применимым в реальных условиях, в том числе в домашних условиях и вне клинических помещений. Открытый доступ к данным позволяет разработчикам и исследователям продолжать работу над улучшением алгоритмов и приложений. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ MEEtBrain успешно решает проблемы субъективности выбора музыки, ограниченности модальности данных и непортативности существующих систем. Будущие исследования могут фокусироваться на улучшении точности анализа эмоций, расширении базы данных и интеграции дополнительных модальностей, таких как движения и голосовые сигналы. Такой подход может привести к созданию более эффективных систем для мониторинга и регуляции эмоционального состояния в реальном времени.