MiSTR: Multi-Modal iEEG-to-Speech Synthesis with Transformer-Based Prosody Prediction and Neural Phase Reconstruction

## Контекст ИнINTELLIGENCE COMMUNICATIONS INTELLIGENCE COMMUNICATIONS синтез речи из интракраниальных электроэнцефалограмм (iEEG) представляет собой обещающую область, способную восстановить утерянную способность говорить у людей с серьезными нарушениями речи. Однако достижение естественного и понятного говорения остается сложной задачей из-за ограниченности методов представления признаков, моделирования просодии и восстановления фазового структуры звука. Нехватка эффективных решений в этих областях ограничивает качество генерируемого звука и затрудняет применение технологий в реальной жизни. ## Метод MiSTR — это глубокое обучение, которое сочетает несколько революционных техник для решения этих проблем. В частности, оно использует **Wavelet-based feature extraction**, что позволяет получить тонко масштабируемые представления временных, спектральных и нейрофизиологических свойств iEEG-сигналов. Далее, **Transformer-based decoder** применяется для точного предсказания просодии с помощью адаптивного моделирования интонации и пауз. Наконец, **neural phase vocoder** с динамической коррекцией спектра обеспечивает гармоничность звука и точность реконструкции. Этот комплексный подход обеспечивает высококачественную реконструкцию речи, включая тон, интонацию и естественность. ## Результаты Для оценки MiSTR проведены эксперименты на основе публичного датасета iEEG. Модель достигла следующих результатов: **mean Pearson correlation of 0.91** между генерируемыми и исходными Mel-спектрами, что значительно превосходит результаты лучших существующих моделей. Эти результаты устанавливают новый стандарт в области нейронного синтеза речи, показывая точность и натуральность генерируемого звука. ## Значимость Модель MiSTR открывает новые перспективы для восстановления речи у пациентов с расстройствами речи, таких как апазия или последствия инсульта. Кроме того, ее уникальный подход к моделированию просодии и реконструкции фазы может быть применен в других областях, таких как робототехника, виртуальные ассистенты и улучшение интеллектуальных систем. Благодаря инновационной архитектуре, MiSTR обеспечивает высокую точность и естественность речи, которая выше классических методов. ## Выводы MiSTR достигает нового уровня в синтезе речи из iEEG-сигналов, обеспечивая высокую точность и естественность звука. На основе этих результатов, будущие исследования будут сфокусированы на улучшении модели для более сложных ситуаций и расширении ее применения в различных областях, включая медицину и робототехнику.