## Контекст Область исследования связана с анализом пост-тренировочной речи, которая содержит богатые физиологические и языковые сигналы. Эти сигналы отражают различные аспекты физиологического состояния человека, включая темп восстановления, функцию легких и уровень утомления. Одним из ключевых аспектов является выявление и различение различных типов пауз в речи - семантических, дыхательных и комбинированных. Эти паузы могут свидетельствовать о различных физиологических процессах и их отклонениях. Несмотря на важность этого вопроса, существующие работы на этой теме остаются ограниченными, особенно в контексте использования современных методов анализа данных. Мотивация для этого исследования основывается на необходимости создания более точных и надежных систем, которые могут анализировать пост-тренировочную речь и давать быстрые выводы о состоянии здоровья человека. ## Метод Для решения поставленных задач использована систематическая методология, включающая несколько этапов. В качестве исходных данных использовался специально созданный датасет, содержащий синхронизированные аудио- и респираторные сигналы. Для распознавания пауз использовались модели глубокого обучения, такие как GRU, 1D CNN-LSTM, AlexNet и VGG16, а также различные акустические признаки, такие как MFCC и MFB. Также были рассмотрены представления слоёв Wav2Vec2. Методы включили как классификационные, так и регрессионные подходы. Для лучшей точности и объёмности выявления различных типов пауз была разработана двухступенчатая модель - сначала происходит детекция, затем классификация. ## Результаты В ходе экспериментов было получено несколько важных результатов. Для распознавания семантических пауз была достигнута точность до 89%. Для дыхательных пауз - до 55%, а для комбинированных - до 86%. Общая точность распознавания пауз составила 73%. Для классификации уровня утомления после тренировки была достигнута точность 90.5%. Эти результаты превышают показатели предыдущих исследований, что демонстрирует эффективность предложенной модели. ## Значимость Предложенная модель может применяться в различных областях, включая медицину, спорт, исследования физиологических процессов. Она обладает высокой точностью и может быть использована для мониторинга здоровья и оценки уровня утомления после физической нагрузки. Наиболее значимыми преимуществами являются точность распознавания различных типов пауз и возможность интеграции с другими системами мониторинга здоровья. Это может повлиять на развитие

#### Контекст Автоматический распознавание речи (ASR) является ключевым направлением в области обработки естественного языка, стремящимся преодолеть барьеры между людьми и машинами. Существующие системы ASR часто полагаются на традиционные методы для извлечения акустических признаков, такие как Mel-frequency cepstral coefficients (MFCCs) или linear prediction coefficients (LPCs). Однако эти методы имеют ограничения в обработке сложных акустических сценариев. Нейронные сети предлагают возможность извлечения более высокого качества признаков, оптимизированных для конкретных задач ASR. Несмотря на это, многие из них остаются привязаны к классическим моделям, что существенно снижает потенциал универсальности и гибкости. Наше исследование рассчитано на развитие более универсальной архитектуры для извлечения признаков, которая бы была эффективной для различных ASR-систем. #### Метод Для решения проблемы стандартизированных методов извлечения признаков мы предлагаем новую архитектуру, сочетающую 2D-конволюционные сети с новыми адаптивными функциями для извлечения признаков. Методология основывается на двух основных предпосылках: 1) 2D-конволюционные слои позволяют извлекать признаки, учитывающие зависимости между звуковыми окружениями в пространстве и времени; 2) Универсальная модель не должна привязываться к конкретным предварительно обученным моделям или классическим методам. Мы предлагаем архитектуру с несколькими уровнями, которая может быть применена как в предобученных, так и в учебных сценариях. В нашей модели используется эффективный фреймворк для извлечения признаков, который учитывает объем вычислительных ресурсов, доступных в конкретных ситуациях. #### Результаты Для оценки эффективности предлагаемой модели мы провели серию экспериментов на различных данных ASR. Эти данные включали записи с высоким уровнем шума, с разным акцентом и разным языком. Мы сравнили результаты наших моделей с традиционными методами, такими как MFCCs и LPCs, а также с более современными нейронными моделями, такими как Wav2Vec и HuBERT. Наши результаты показали, что 2D-конволюционная модель показывает почти одинаковое качество признаков по сравнению с предварительно обученными моделями, при этом требуя меньших вычислительных ресурсов. Особое внимание уделялось влиянию универсальной архитектуры на уменьшение пропускаемой информации и повышение стабильности системы ASR в разных условиях. #### Значимость Предлагаемая модель может быть применена в разных сферах ASR, включая системы, работающие в реальном времени, а также в мобильных приложениях, где ограничены вычислительные ресур

## Контекст Meeting transcription является областью высокой актуальности и существенного прогресса в последние годы. Однако некоторые задачи в ней до сих пор остаются неразрешимыми. Одним из таких вызовов является анализ ошибок в модульных системах транскрибирования, которые могут влиять на качество транскрибирования. Исследователи стремятся к пониманию этих проблем, чтобы оптимизировать системы и минимизировать ошибки. Целью данного исследования является расширение фреймворка для анализа темпоральной локальности в системах сепарации речи и его применение для оценки ошибок в модульных системах транскрибирования. Ранее, анализ ошибок ограничивался одной точке времени, но в данной работе введена методика, которая учитывает темпоральную локальность, что позволяет более точно оценить ошибки. ## Метод Для анализа ошибок в модульных системах транскрибирования разработана новая методика, основанная на расширенной методологии для анализа темпоральной локальности. Эта методика применяется к системе, которая использует модульную архитектуру, включающую модули для сепарации речи, звуковой активности и распознавания речи. Методика включает в себя сравнение различных сегментаций, в том числе идеальной (оркестрованной) сегментации, легковесной сегментации на основе энергии и более сложными методами диаризации. Эксперименты проводились на данных LibriCSS, которые являются открытым ресурсом для тестирования систем транскрибирования. ## Результаты Результаты показывают, что такие методы диаризации, как x-vector и diarization с N-лучами, существенно сокращают разрыв с идеальной сегментацией по сравнению с простой энергий-based VAD. Тем не менее, остаётся заметный разрыв в третьей части результатов. Изучение этого разрыва показало, что основные факторы включают неточности в активности речи, синхронизацию между модулями и недостаточную точность распознавания речи в условиях высокого шума. Эти факторы определяют остаточные ошибки в системе. Более того, проведенный анализ позволил выявить, что прогресс в сепарации речи и diarization имеет существенное влияние на ошибки, но не устраняет их полностью. ## Значимость Результаты этой работы имеют большое значение для развития модульных систем транскрибирования. Они демонстрируют, что улучшение модулей сепарации речи и диаризации может привести к значительным улучшениям в качестве транскрибирования. Кроме того, работа показывает, что улучшение точности распознавания речи в условиях высокого шума и уменьшение неточностей в синхронизации модулей могут существенно уменьшить остаточные ошибки. В будущем, эти находки могут быть применены для со

#### Контекст Текстовое-к-речевое преобразование (Text-to-Speech, TTS) является важной областью искусственного интеллекта, которая обеспечивает синтез речи на основе текста. Одним из главных вызовов является синтез речи в неизвестных языках или с неизвестными речевыми идентичностями. Этот процесс важен для расширения приложений TTS, таких как локализация и доступность. Несмотря на прогресс в масштабируемых моделях, лёгкие модели TTS, оптимизированные для ресурсно-ограниченных устройств, становятся все более востребоваными. В этой работе мы изучаем добавление адаптеров к лёгким моделям TTS для решения проблемы неизвестных речевых и языковых идентичностей, чтобы достичь эффективного и точного синтеза голоса. #### Метод Мы используем адаптеровую архитектуру для улучшения лёгких моделей TTS. Адаптеры — небольшие модули, добавляемые к существующим моделям, чтобы научить их обучаться на новых речевых и языковых идентичностях без переобучения основной модели. Мы сравниваем две задачи: неизвестный голос и неизвестный язык. Для измерения качества синтеза мы используем традиционные метрики, такие как MOS (Mean Opinion Score), а также разрабатываем новую метрику, основанную на измерении акцента, чтобы оценить натуральность синтезированной речи в новом языке. Модель тренируется на существующих данных речи, а затем модифицируется с помощью адаптеров для обучения новых речевых и языковых признаков. #### Результаты Мы проводим эксперименты на широкой палитре речевых и языковых признаков, включая новые речевые идентичности и языки, для которых не было доступных никаких записей. Мы показываем, что адаптеры эффективно учитывают новую информацию о голосе и языке, улучшая качество синтеза. Благодаря нашей метрике акцента, мы также показываем, что синтезированная речь звучит натурально в новой среде. Мы также изучаем различные конфигурации адаптеров, такие как размер, место размещения и количество голосов, и показываем, что эти факторы влияют на качество синтеза. #### Значимость Наши результаты демонстрируют широкое применение адаптеров в лёгких текстово-речевых системах. Они могут быть использованы для синтеза речи на новых языках и с неизвестными речевыми идентичностями без необходимости обучать модель с нуля. Это значительно увеличивает производительность и дешевизну при развёртывании TTS в новых регионах и языках. Кроме того, мы показываем, как адаптеры могут быть настроены для минимизации «забывания» исходной знания модели, что является ключевым вызовом в машинном обучении. Наша работа такж

## Контекст Просодия (speech prosody) — это важный аспект речи, который необходим для передачи эмоций, интонаций, информационных приоритетов и индивидуальных особенностей речи. Однако создание моделей просодии, которые эффективно могут принимать текстовые и акустические входы, остается сложной задачей. Недостаток мощных моделей просодии приводит к недостатку точности в таких задачах, как text-to-speech (TTS) и других, где просодия играет ключевую роль. Существующие модели часто страдают от ограниченности в обработке текста и акустических признаков вместе, что приводит к предсказаниям, которые могут быть точными лишь в части. Мотивируя нашу работу является необходимость разработки модели, которая бы способствовала повышению эффективности моделей просодии и предоставляла новые возможности в задачах, где просодия играет важную роль. ## Метод Предлагаемая модель, **ProMode**, является stand-alone моделью, которая предназначена для преобразования текстовых сигналов в просодические признаки, такие как F0 (частота ф F0) и энергия. Она использует как входные данные звуковые признаки, так и текстовые данные, которые частично замаскированы, и производит унифицированный фиксированного размера просодический вектор. Этот вектор, в свою очередь, используется декодером для предсказания отсутствующих частей акустического сигнала. Модель обучается на данных GigaSpeech dataset и включает в себя архитектуру, состоящую из энкодера (который обрабатывает текст и акустику) и декодера (который предсказывает акустические признаки). Модель обучается так, чтобы учитывать обе части входных данных, что позволяет повысить точность предсказаний просодии. ## Результаты Мы проводили эксперименты для оценки точности предсказания F0 и энергии в предложениях. Наши результаты показали, что ProMode превосходит текущие стандартные модели просодии на разных уровнях гранулярности. Мы также интегрировали наши предсказанные просодические признаки в TTS-систему и провели перцептивные тесты, которые показали, что наши результаты превосходят базовые модели по предпочтениям пользователей в пределах просодических признаков. Эти результаты демонстрируют, что ProMode может быть эффективно использована в текстово-слойных моделях речи для повышения качества моделей просодии. ## Значимость Модель ProMode может быть применена в различных областях, включая текстовые-слойные модели речи, синтез речи, генерацию речи и другие задачи, где просодия играет важную роль. Одной из основных преимуществ этой модели является ее способность обрабатывать тексты и акустические признаки вместе, что дает более качественные предсказания просодии. Это может привести к повышению точности в задача