Dynamic Fusion Multimodal Network for SpeechWellness Detection

## Контекст Самоубийство является одной из ведущих причин смертности среди подростков. Определение риска самоубийства является критической проблемой в области психиатрии и искусственного интеллекта. Одним из основных подходов является использование мультимодальных сигналов, таких как речь и текст, для получения более полного представления о ментальном состоянии человека. Однако существующие методы часто ограничиваются анализом только одного типа сигналов, что приводит к урезанному виду информации и неэффективной оценке риска. В этом контексте, в рамках 1-го SpeechWellness Detection Challenge, предлагается исследовать новую мультимодальную систему, которая использует динамический механизм слияния модальностей для эффективного детектирования статуса "speech wellness". ## Метод Предложенная система основывается на мультимодальной архитектуре с динамическим слиянием модальностей. Она использует как временные последовательности (time-domain), так и временно-частотные (time-frequency, TF) акустические признаки, а также семантические представления для более точного определения риска. Главная инновация заключается в разработке динамического блока слияния, который применяет learnable weights для каждой модальности в процессе слияния. Это позволяет модели адаптировать вклад каждой модальности в процессе определения результата. Для лучшей эффективности вычислений архитектура была упрощена и существенно сокращена в модели базового типа, что позволило сократить количество параметров в разы. ## Результаты Для проверки эффективности системы проводились эксперименты на специальной выборке данных. Проведение экспериментов показало, что модель показывает значительно лучшую точность в детектировании статуса "speech wellness" по сравнению с базовой моделью, использовавшейся в ходе вызова. Было достигнуто 78% сокращения количества параметров модели и получено 5% увеличение точности. Эти результаты подтверждают эффективность использования мультимодального подхода и динамического слияния модальностей для повышения точности в данной области. ## Значимость Предложенная модель может быть применена в сфере психологического мониторинга и психиатрии для определения риска самоубийства. Она предлагает значительное повышение точности в определении здоровьесберегающего статуса речи по сравнению с традиционными подходами. Использование мультимодальных сигналов также позволяет лучше учитывать различные аспекты психического состояния, что делает модель более гибкой и эффективной в решении данной задачи. Будущие исследования будут сфокусированы на улучшении методов оценки риска и интеграции дополнительных модально