#### Контекст Обеспечение высокого качества аудио становится важной задачей в огромном количестве приложений, включая онлайн-коммуникацию, виртуальные помощники и индустрию мультимедиа. Однако задачи улучшения и восстановления звука становятся сложнее из-за проблем, таких как шум, сжатие и потери при передаче. Несмотря на то, что развитие моделей вида diffusion позволило получить значительные улучшения в этой области, они часто требуют больших вычислительных ресурсов и сложно успешно работают с длинными местами пропуска. Это ограничение делает необходимым разработать более эффективные подходы. #### Метод WaveLLDM (Wave Lightweight Latent Diffusion Model) представляет собой архитектуру, которая комбинирует современные технологии аудиокодирования и подходы с потерями в латентном пространстве. Основное отличие WaveLLDM заключается в том, что вместо работы напрямую в частотном или временном пространстве, он обрабатывает аудиосигнал в разложенном векторном (кодированном) виде. Это позволяет существенно уменьшить вычислительные затраты, не ухудшая качество восстановления. Модель также использует методы латентной диффузии для улучшения реконструкции звука в условиях повреждений и шумов. #### Результаты Эксперименты WaveLLDM проводились на наборе данных Voicebank+DEMAND. Результаты показали, что модель достигает хорошего уровня восстановления аудио, с Spectral Distance (LSD) от 0,48 до 0,60. Однако в перспективе развития модель WaveLLDM пока ниже лучших показателей состояния техники по таким показателям как WB-PESQ (1,62–1,71) и STOI (0,76–0,78). Эти ограничения объясняются недооптимизацией архитектуры, недостатком тюнинга и недостаточной продолжительностью обучения. #### Значимость Концепция WaveLLDM представляет собой универсальный подход, который может использоваться в различных приложениях, таких как очистка аудиосигнала, восстановление звука в реальном времени, и виртуальные системы ассистента. Значительная эффективность модели, связанная с существенной экономией вычислительных ресурсов, делает ее привлекательной для использования в ресурсосжрательных условиях. Однако продолжение развития модели, включая дополнительное тюнинг, повышение продолжительности обучения и расширение набора тренировочных данных, могут повысить ее точность и применяемость. #### Выводы WaveLLDM представляет собой перспективный подход в области восстановления звука, который успешно комбинирует преимущества аудиокодирования и латентной диффузии. Хотя текущие результаты показывают некоторые ограничения, фундаментальная идея модели и ее гибкая архитектура дают огромный потенциал для дальнейшего ра

## Контекст За последние годы, аудио-языковые модели (Audiolanguage Models, ALMs) получили популярность благодаря их удачному слиянию возможностей языкового понимания и распознавания звуков. Однако далеко не всегда эти модели достигают высокого уровня гибкости и точности при работе с нестандартными задачами, которые требуют скорости резолюции и точности распознавания сложных акустических сигналов. Например, модели должны быть способны определять длительность звука, его тон, интенсивность и другие мелкие акустические характеристики, чтобы распознавать звуки в реальных условиях. Эти данные являются ключевыми для распространенных приложений, таких как звуковые системы оповещения, анализ голосов и аудиосканирование в животных. Однако существующие модели часто не обладают достаточным уровнем точности и универсальности, чтобы справиться с нестандартными ситуациями. Для направления исследований в этом направлений, авторы представили WoW-Bench — бенчмарк, ориентированный на оценку тонкой акустической перцепции и когнитивных способностей моделей аудио-языка. ## Метод WoW-Bench представляет собой два основных компонента: Perception Benchmark и Cognition Benchmark. В Perception Benchmark реализована задача классификации звуков на основе голосов морских млекопитающих. Модели должны классифицировать звуки в классы, например, свист, рычание и т. д., используя тон, продолжительность и другие акустические свойства. Данная задача позволяет оценить уровень точности моделей при работе с нетипичными акустическими сигналами. Cognition Benchmark является более сложной и включает в себя различные задачи, основанные на Bloom's taxonomy, чтобы отразить уровень глубины понимания звука. Здесь модели должны выполнить задачи, такие как запоминание звуков, обобщение их, сравнение с другими звуками или их анализ. Например, модель может получить задачу "найди звук A, который наиболее похож на звук B, но не тем же звуком C". Особенностью Cognition Benchmark является внедрение distractor-задач, которые требуют от моделей удостовериться в том, что они решают задачу на основе звукового анализа, а не других неспецифичных способов. ## Результаты Для оценки WoW-Bench, авторы применили несколько современных аудио-языковых моделей, включая те, которые достигли высоких результатов в области текстового понимания. Измеренное качество моделей было сравнено с задачами, выполненными человеком. Качество моделей оказалось значительно ниже уровня человеческого уровня, особенно в задачах, требующих тонкого акустического анализа. Например, модели с удивительно низкой точностью распознавали звуки в зоогео

#### Контекст Одна из основных проблем в акустических и сигнальных обработках является улучшение качества разговоров в шумных условиях. Эта задача называется сенсингом голоса. Она не только влияет на качество звука, но и приносит комфорт в общении. Несмотря на развитие методов сенсинга, существуют трудности, связанные с высоким потреблением ресурсов, ограниченной мобильностью и недостаточной стабильностью методов. Из этого вытекает необходимость развития эффективных моделей, которые учитывали бы эти задачи. #### Метод EffiFusion-GAN представляет собой генерирующую адверсарную сеть, оптимизированную для высокой эффективности. Основная идея заключается в использовании глубинных разделяющих сверток (Depthwise Separable Convolutions), которые уменьшают весь модели значительно, оставив при этом высокую точность. Для улучшения обработки звуковых признаков в разных масштабах, в модели внедрено многомасштабное блок, которое позволяет сохранять детали звука. Для улучшения стабильности тренировки добавлено усовершенствованное механизм внимания с двойным нормализацией и рефинед резидентным слоем. Также, в модели используется динамическая транспарантность (призрачность) для более лёгкого использования в ресурсозатратных условиях. #### Результаты Исследования проводились на знаменитом VoiceBank+DEMAND датасете. Эффективность EffiFusion-GAN была оценена с помощью метрик PESQ, STOI, и SI-SDR, которые являются стандартными для оценки качества сенсинга голоса. Модель достигла PESQ-скора 3.45, что значительно превосходит другие модели в той же степени параметров. Она также показала лучшие результаты по другим метрикам, являясь самой эффективной в своей классе. #### Значимость Модель EffiFusion-GAN отлично подходит для приложений в смартфонах, автомобильных системах, роботов и даже в ИИ-сервисах. Её легковесная структура и высокая точность делают её идеальным средством для реализации в ресурсозатратных условиях. Благодаря улучшенной модели внимания и динамической транспарантности, модель может иметь значительное влияние на развитие устройств с голосовым вводом, носимых технологий, а также цифровых помощников. #### Выводы Модель EffiFusion-GAN доказала свою эффективность в сенсинге голоса в шумных условиях. Она имеет легковесную архитектуру с высоким качеством результатов. Будущие исследования будут сосредоточены на улучшении модели для работы с другими типами звуковых данных, а также на улучшении её мобильности и гибкости для использования в различных устройствах и приложениях.

## Контекст Музыкальная источниковая сепарация (Music Source Separation, MSS) является важной задачей в области процессинга аудио, нацеленной на разделение музыкальных источников (таких как вокал, инструменты) в смешанном аудиосигнале. Однако вокальная сепарация, особенно для интерметтирующих звуков, остается сложной. Отсутствие графического представления данных и недостаточная поддержка длинных зависимостей во временном домене в традиционных моделях делают их менее эффективными для такой задачи. Эта проблема становится критичной для сценариев, где вокал проявляется непоследовательно, что приводит к неточностям в сепарации. Наша модель Mamba2 Meets Silence предназначена для преодоления этих ограничений, используя новый подход, основанный на state space modeling. ## Метод Мы предлагаем модель Mamba2 Meets Silence, которая сочетает современные state space models (Mamba2) с продвинутой архитектурой dual-path. Мamba2 используется для предсказания длинных временных зависимостей, что обеспечивает точность в сепарации вокала. Для эффективной обработки длинных входных последовательностей мы вводим стратегию band-splitting, разделяющую сигнал на небольшие части для более простой обработки. Это позволяет модели удерживать высокую точность при обработке задач с переменной длиной входных сигналов. Дополнительно, мы применяем адаптивные фильтры для детального улучшения сепарации звуков. ## Результаты Наши эксперименты показали, что модель Mamba2 Meets Silence превосходит существующие современные модели, достигая сдвоенного cSDR (clean Signal-to-Distortion Ratio) в 11.03 dB, который является наилучшим показателем в сравнении со старыми моделями. Этот результат достигнут благодаря эффективному использованию state space models и точной обработке длинных последовательностей. Модель также продемонстрировала высокую стабильность и точность при разных условиях ввода. Эти результаты позволяют нам сделать вывод, что наш подход является оптимальным для сепарации вокала в музыкальных сигналах. ## Значимость Модель Mamba2 Meets Silence имеет широкие возможности применения в области аудио-редактирования, машинного обучения для музыки и автоматизации процессов сепарации музыкальных источников. Она предлагает преимущества в том числе высокий уровень точности в сепарации звуков, улучшенная скорость обработки и надежные результаты при разнообразных входных данных. Эти достижения открывают новые пути для развития технологий в области аудио-процессинга и их использования в приложениях, таких как генерация музыки, автоматическая синтезированная голоса и аудио-редактирование. ## Выводы Мы представляем новую модель Mamba2 Meets Silence, которая показала высокую эффективность в вокальной сепарации

## Контекст Automatic Speech Recognition (ASR) теперь широко используется в различных областях, включая домашние помощники, системы управления голосом и системы перевода. Однако один из главных недостатков ASR — её чувствительность к шуму. Многие существующие модели тренируются на чистом голосовом данных, но зачастую сталкиваются с проблемами, когда требуется работать с шумными условиями. Это ограничивает их применение в реальном мире, где шум — неизбежная часть. Целью данной работы является создание модели, которая будет более устойчивой к шумам, чтобы улучшить производительность ASR в неидеальных условиях. ## Метод Мы предлагаем HuBERT-VIC, которая основывается на HuBERT, но включает дополнительные обучающие функции — Variance, In-variance, и Covariance Regularization (VICReg). Эти новые статистические меры нацелены на улучшение устойчивости модели к шуму. Ключевым аспектом этого подхода является то, что VICReg целевая настройка статистических свойств звуковых представлений, чтобы модель могла лучше учитывать различные аккустические черты. Мы применяем эти регуляризационные методы к представлениям звуков, чтобы модель могла более точно распознавать звуки в шумных условиях. ## Результаты Мы проводили многочисленные эксперименты на двух наборах данных: LibriSpeech и Demosphere. Мы сравнили новую модель HuBERT-VIC с базовой HuBERT, которая была тренирована на шумном голосовом данных. Эксперименты показали, что HuBERT-VIC показывает значительные улучшения: на LibriSpeech test-clean она достигла 23.3%, а на test-other — 13.2%, что является значительным преимуществом по сравнению с базовой моделью. Эти результаты демонстрируют, что VICReg позволяет модели более эффективно адаптироваться к шумным условиям, увеличивая её устойчивость и общую точность. ## Значимость Наши результаты открывают новые возможности в области шумоустойчивой ASR. Модель HuBERT-VIC может быть применена в различных сценариях, включая системы управления голосом в автомобилях, помощников-диктов и даже в разработке более надежных систем медицинских голосовых интерфейсов. Этот подход не только улучшает производительность, но и позволяет расширить возможности ASR в технических и юридических сферах, где шум является неизбежной частью рабочего процесса. ## Выводы Мы успешно разработали HuBERT-VIC, модель, которая значительно улучшает устойчивость ASR к шумам. Эта модель демонстрирует существенные улучшения в производительности по сравнению с базовой HuBERT. Будущие исследования будут направлены на улучшение технических аспектов VICReg и его применение в различных стандартных вызовах шума в

## Контекст Полнодуплексная разговорная интерактивная система представляет собой важное технологическое решение, позволяющее одновременно отправлять и получать голосовые сообщения. Однако в этих системах возникает проблема звукового эхоа, которая значительно влияет на качество сигнала и удобство использования. Эхо может возникать из-за различных факторов, включая ненадежные аппаратные решения и нетривиальные звуковые окружения. Эффективное решение этой проблемы требует эффективного решения вопросов с акустическим эхом и задержкой в работе системы. Недостаточная качественная обработка звука приводит к недостаточной активности в системе Voice Activity Detection (VAD) и снижению качества распознавания речи при использовании Automatic Speech Recognition (ASR). Обеспечение качественной обработки звука является ключевым для повышения удобства и эффективности пользователей в полнодуплексных системах. ## Метод Для решения указанных проблем мы предлагаем алгоритм, основанный на нейронных сетях, с целью улучшить качество акустического эхоа. Мы внедрили различные методы регуляризации и увеличения генеративной мощности модели. Это позволяет увеличить устойчивость модели в различных звуковых условиях и с постоянно меняющимися условиями окружения. Мы также ввели развитие модели прогрессивно, чтобы улучшать качество акустического эхоа в ходе обучения. Для повышения качества сигнала, мы представили пост-процессинг стратегии, которая использует параметры, настроенные специально для возможности Voice Activity Detection (VAD) и Automatic Speech Recognition (ASR). Эти параметры позволяют включить адаптивность для этих задач и улучшить их результаты. Наконец, мы разработали модель с небольшим размером, которая поддерживает стриминговую обработку, что позволяет ее использовать в мобильных устройствах без заметных задержек. ## Результаты Мы проверили эффективность нашего подхода в нескольких экспериментах. Мы проверили качество акустического эхоа, используя такие показатели, как Echo Return Loss Enhancement (ERLE) и Perceptual Evaluation of Speech Quality (PESQ). Результаты показали, что наша модель превосходит существующие алгоритмы в этих показателях. Мы также проверили качество работы VAD и ASR, используя наши пост-процессинговые стратегии, и обнаружили, что они улучшают качество распознавания речи и активности голоса в системе. Эти результаты подтверждают, что наш подход повышает качество работы полнодуплексных систем, особенно в мобильных устройствах. ## Значимость Наша модель имеет широкие области применения в системах полнодуплексной разговорной интерактивности, включая мобильные приложения, устройства с голосовым помощником и телекоммуникационные системы. Основные преимущества на

## Контекст Синтетическая параллельная ассоциация (Speech Recognition, ASR) является важной задачей в области обработки естественного языка, которая направлена на то, чтобы конвертировать речевые сигналы в текст. Однако, речевые сигналы, пострадавшие от дисартрии, представляют собой особый вызов для ASR из-за сочетания значительных расхождений в произношении, вызванных звуковыми и грамматическими искажениями, а также вариабельности произношения. Эти факторы сильно сказываются на качестве распознавания, чаще всего приводят к высокой стоимости ошибок. Несмотря на прогресс в сфере машинного обучения, в том числе с использованием самостоятельно организованных (self-supervised) моделей ASR, таких как Wav2Vec, HuBERT и Whisper, их эффективность в распознавании речи дисартрии остается неоднозначной. Этот аспект мотивирует разработку новых подходов, которые могут улучшить распознавание речи дисартрии, учитывая сложившуюся ситуацию. ## Метод Для решения этой проблемы были задействованы несколько ASR-моделей, включая Wav2Vec, HuBERT, и Whisper, в сочетании с различными стратегиями декодирования: CTC, seq2seq, и генерирующими моделями типа BART, GPT-2, и Vicuna. Эти модели были доведены до состояния приемлемого рабочего состояния с помощью данных, специально подготовленных для распознавания речи дисартрии. Архитектура включала стандартные слои преобразования фичи, выделение эмбединга, а также слои для моделирования постоянных представлений звуков. Для оценки эффективности систем были использованы метрики, такие как Word Error Rate (WER), обобщенность моделей была оценена с помощью перекрестной оценки тестовых данных. Были применены техники, такие как преобразование наборов данных и методы вероятностного декодирования, для улучшения общей точности и обобщаемости систем. ## Результаты В ходе экспериментов проанализированы показатели распознавания речи дисартрии с использованием различных моделей ASR и декодирования. Оказалось, что LLM-подключенные стратегии декодирования, такие как BART и Vicuna, показали существенный улучшение в точности, особенно в случае с сильно дисартрическими сигналами. Исследование показало, что эти модели могут улучшить распознавание, используя грамматические и лексические контексты для улучшения интеллектуальности и точности. Также было отмечено, что различные модели ASR показали различия в производительности в зависимости от серьезности дисартрии. Для улучшения общей обобщаемости, были применены методы скрещивания данных, что позволило улучшить поведение моделей на неизвестных данных. ## Значимость Результаты работы имеют значимую значимост

Задача улучшения аудиокачества через суперрезолюцию широко применяется в музыке, голосовых синтезаторах и постпродакшене. Однако существующие методы, основанные на моделях шума-диффузии, сталкиваются с ограничениями, связанными с хаотичностью стохастического процесса семплирования. Наша работа предлагает новый подход к решению этой проблемы, основанный на парадигме **inference-time scaling**. Вместо увеличения количества семплирований, мы используем множество поисковых алгоритмов и задачи-источники проверки (verifiers) для эффективного исследования высокомерного пространства решений. Это позволяет нам направлять семплирование в наиболее выгодные направления, повышая качество результатов. Мы провели широкие эксперименты, подтверждающие повышение качества аудио в области речи, музыки и звуковых эффектов, с улучшениями до 9.70% в красоте, 5.88% в согласованности голоса и 46.98% в метрике спектрального расстояния при увеличении частоты за счет 4 кГц до 24 кГц. Это демонстрирует эффективность нашего подхода в решении задачи суперрезолюции аудиоданных.

**Резюме** В статье рассматривается проблема детекции устного запроса пользователя к голосовому помощнику (Device-Directed Speech Detection, DDSD), которая критична для обеспечения естественного интерфейса. Авторы предлагают новую адаптивную методику сбыстрования модели через **Knowledge Distillation (KD)**. Уникальность этого подхода заключается в использовании адаптивных адаптеров, которые применяются над замороженным предварительно обученным акустическим кодировщиком (teacher), основанным на трансформере или конформере. Эти адаптеры взаимодействуют с моделью-учеником (student) для целевой задачи DDSD. Эксперименты показали, что такой подход повышает точность работы модели, снижая ошибку на ключевых запросах (Equal Error Rate) на +26% при ключевых запросах и на +19% при следующих (follow-up) запросах. Результаты доказали генерализируемость метода для разных архитектур моделей.

**Резюме** Диагностика респираторных заболеваний часто основывается на анализе респираторных звуков, но ограничения по доступности меток данных и ресурсов для обучения моделей существенно снижают точность и надежность таких систем. В статье предлагается CoughViT — новая самостоятельной самоспособляющейся архитектура, основанная на Vision Transformer, для обучения представлений аудио-данных постукань легких. Методом маскированного моделирования данных в рамках самостоятельного самоспособляющегося обучения разработчики обучают модель для генерирования универсальных представлений респираторных звуков. Эти представления доказали свою эффективность при решении задач классификации респираторных звуков, даже при ограниченном объеме меток. На трех классических задачах классификации респираторных звуков, включая классификацию заболеваний, CoughViT показала примерно равную или лучшую производительность по сравнению с текущими лучшими моделями на основе супервизованного обучения. Это демонстрирует перспективу таких подходов в повышении доступности и точности диагностики респираторных заболеваний.