## Контекст Физиологические аудиосигналы, такие как фонокардиограммы (PCG), являются ключевыми индикаторами многих заболеваний сердца и требуют точной классификации для диагностики. Однако классические подходы к их обработке часто бьются о проблемы, связанные с неполностью информативностью одного из доменов — спектрального или темпорального. Наличие разрывов в информации между этими доменами ставит перед исследователями задачу создания универсального классификатора, который мог бы эффективно объединить эти два домена для улучшения точности и устойчивости классификации. ## Метод Мы предлагаем AudioFuse, архитектуру, которая использует гибридную свёрточную сеть 1D и трансформерную модель ViT для обработки спектральных и темпоральных признаков соответственно. Для решения проблемы переобучения, часто встречающейся при объединении представлений, мы вводят широкую и малой глубины Vision Transformer с широкой нейронной сетью с 1D сверточной сетью для глубокого изучения ключевых особенностей как в спектральном, так и в темпоральном доменах. Такой подход позволяет достичь более сильного индуктивного задвижки и значительного повышения точности классификации. ## Результаты Мы проверили AudioFuse на двух высококачественных датасетах: PhysioNet 2016 и PASCAL. На PhysioNet 2016, AudioFuse достигло ROC-AUC в 0.8608 при сравнительном уровне ROC-AUC 0.8066 для классификации спектрограмм и 0.8223 для классификации гармонических прогнозов. На PASCAL, AudioFuse показал устойчивость к искажениям в данных, получив ROC-AUC в 0.7181, в то время как гармоническая сеть пропадала в 0.4873. Это указывает на высокую эффективность AudioFuse в обеспечении устойчивости к шумам и разрывам в данных. ## Значимость AudioFuse может быть применен в различных медицинских приложениях, включая диагностику и мониторинг здоровья сердца. Его многослойная архитектура и устойчивость к шумам делают её выгодным инструментом для классификации звуковых сигналов. Данный подход также может привести к более точным наблюдениям в медицинской практике и снижению числа ложных срабатываний в классификации сердечных звуков. ## Выводы Мы продемонстрировали, что AudioFuse является эффективным методом классификации фонокардиограмм, который объединяет спектральные и темпоральные признаки для улучшения точности. Мы намерены продолжать работу над улучшением архитектуры и применением её в других медицинских областях, таких как диагностика дыхательных заболеваний и аудиомониторинг.

#### Контекст Аудио-базированное обнаружение пешеходов является сложной задачей, которая до сих пор была исследована только в шумоограниченных средах. Однако в реальном мире шум от транспорта часто преобладает над звуковыми сигналами, связанными с пешеходами. Это создает сложности для правильного обнаружения пешеходов в таких условиях. Мы предлагаем новый датасет, анализ результатов и подробный обзор состояния исследований в области звукового обнаружения пешеходов в условиях транспортного шума. Данные эксперименты позволяют увидеть степень устойчивости алгоритмов к шумам и кросс-средственную оценку моделей в разных условиях. #### Метод Мы предлагаем новый датасет, состоящий из 1321 часов аудиозаписей, собранных вблизи дорог в различных условиях транспортного шума. Записи охватывают различные дорожные условия, включая трафик и городской шум. Каждая запись включает 16kHz аудиофайлы, синхронизированные с 1fps видео и шагами разбиения на кадры. Мы использовали модели YOLOv4 и DETR для обнаружения пешеходов, а также модели глубокого обучения для распознавания звуков в разных условиях. Методы включали искусственное натренирование моделей на шумовых данных, а также проверки моделей на тестовом датасете с разным шумовым фоном. #### Результаты Мы проводили три основных эксперимента: (i) сравнение моделей на шумовом и нет шумовом датасетах для оценки их кросс-средственной оценки; (ii) изучение влияния шума на показатели моделей, включая различные аспекты звукового контекста; (iii) оценка устойчивости моделей к out-of-domain звуковым сигналам. Результаты показали, что модели YOLOv4 и DETR показывают хорошую стабильность на шумовых записях, но их производительность существенно ухудшается при включении звуков транспорта. Мы также обнаружили, что звуковые сигналы, связанные с транспортом, могут оказывать значительное влияние на модели, особенно когда модели обучены на шумных данных. #### Значимость Наша работа имеет значительное значение для разработки моделей звукового обнаружения пешеходов в реальных условиях, в том числе в городских зонах с высоким транспортным шумом. Мы показали, что шум от транспорта может существенно снижать точность моделей, но при этом могут быть использованы методы, которые повышают устойчивость моделей. Это может быть полезно для автоматических систем обнаружения пешеходов в автомобилях, в системах безопасности на дорогах и для систем автоматизации города. #### Выводы Мы показали, что звуковые сигналы, с

#### Контекст Автоматическое звукоречевое распознавание (ASR) системы часто сталкиваются с трудностями при обработке речи детей, что связано с особыми акустическими и лексическими особенностями этого типа речи. Хотя недавние достижения в области самостоятельного обучения (SSL) существенно улучшили транскрипцию речи взрослых, проблема транскрипции речи детей остается актуальной. Целью данного исследования является оценка потенциала layer-wise самостоятельно самообучающихся моделей (Wav2Vec2, HuBERT, Data2Vec и WavLM) для улучшения ASR-систем, предназначенных для транскрибирования речи детей в zero-shot сценарии. #### Метод Для тестирования потенциала SSL-моделей были извлечены layer-wise features, которые последуют интегрированы в DNN-систему ASR с использованием Kaldi toolkit. Для обучения была использована аудио-корпус WSJCAM0, а для тестирования — PFSTAR. Эксперименты проводились с использованием разных моделей SSL и выделения layer-wise features. Также проводилась анализ по группам возраста, чтобы оценить как общую эффективность, так и то, как модель себя вестит на данных речи ребенка разных возрастов. #### Результаты Изыскания показали, что Layer 22 модели Wav2Vec2 дает низкий Word Error Rate (WER) в 5.15%, что составляет 51.64% относительного улучшения по сравнению с прямым zero-shot декодированием с использованием Wav2Vec2 (WER в 10.65%). Данные по возрастным группам указали на то, что модель постоянно улучшает свою эффективность с ростом возраста, при этом даже на молодших группах возраста были заметные улучшения. Эксперименты на CMU Kids дали похожие итоги, подтвердив генерализуемость предложенного подхода. #### Значимость Результаты этих исследований могут быть применены в разработке более точных ASR-систем для детей, что будет полезно в области образования, здравоохранения и интерактивных технологий. Преимуществоми этого подхода является уменьшение WER на zero-shot сценариях и улучшение универсальности моделей для различных возрастных групп детей. В будущем, можно рассмотреть интеграцию данных из других SSL-моделей и расширение подхода на другие типы речи. #### Выводы Исследование показало, что layer-wise features из SSL моделей могут значительно сократить WER в zero-shot ASR системах для речи детей. Модель Wav2Vec2, особенно Layer 22, дала лучшие результаты. Этот подход может быть применен для решения проблем с транскрибированием речи детей, имея потенциал для расширения и исследования других моделей и наборов данных.