## Контекст Аудиосигналы внутри электрических автомобилей играют ключевую роль в обеспечении качества продукции и комфорта пассажиров. Однако, обнаружение аномалий в этих звуках часто становится проблемой в условиях нехватки или полной отсутствия меток для неисправностей. Большинство существующих моделей обнаружения аномалий обучаются на звуковых данных, помеченных доброкачественными и неисправными примерами. На практике такие сценарии редко встречаются, что приводит к затруднению моделирования. Это ставит перед исследователями задачу разработки моделей, которые способны обнаруживать аномалии в аудиоданных, обучаясь только на звуках без аномалий. Такое подходение требует разработки новых методов для оценки и выбора моделей, так как простые метрики, такие как ошибка воспроизведения, могут оказаться недостаточно надежными. Таким образом, целью данной работы является разработка метода, информированного доменным знанием, для эффективного выбора моделей обнаружения аномалий в аудиоданных. ## Метод Разработанный метод основывается на инженерии прокси-аномалий, которые являются структурированными изменениями звуковых характеристик здоровых аудиоданных. Для этого аудиозаписи разделяются на фиксированные сегменты, а затем в эти сегменты применяются структурированные шумы, процессы искажения и другие манипуляции, чтобы эмулировать аномалии. Эти прокси-аномалии используются в качестве значков для оценки моделей, которые стремятся отличить их от здоровых звуков. Базовая модель обучается на здоровых данных, а затем проверяется на прокси-аномалиях. Эта процедура позволяет подбирать модели, которые оптимально распознают реальные аномалии, так как прокси-аномалии подобны им в своем структурном поведении. Такой подход позволяет улучшить выбор моделей и повысить надежность обнаружения аномалий в условиях ограниченных данных. ## Результаты Исследование проводилось на высококачественной коллекции данных, содержащей звуковые записи внутри электрических автомобилей в нормальных и аномальных условиях. Обучение проводилось на здоровых звуковых данных, а модели оценивались на прокси-аномалиях. Эксперименты проводились на 5 типах аномалий: Imbalance, Modulation, Whine, Wind и Pulse Width Modulation. Результаты показали, что модели, выбранные с помощью прокси-аномалий, показали значительно лучшие показатели по отношению к традиционным методам, таким как ошибка воспроизведения. Эти результаты подтвердили эффективность инженерии прокси-аномалий в подборе моделей, которые более точно отличают нормальные звуки от аномалий в условиях сильного недостатка меток. ## Значимость Разработа

#### Контекст Генерируемая с помощью искусственного интеллекта аудиосъемка, так называемая deepfake, стала одной из самых мощных технологий в современной цифровой среде. Она используется для подделки голосов, создания подлоговых аудио-видеоматериалов и даже обмана зрителей при помощи реалистичных, но ложной информации. Эта технология нашла применение в различных сферах: от развлечений до серьезных рисков в профессиональных сферах, например, в системах аудиоконференцсвязи, проверке личности по голосу и расследовании преступлений. Однако с этим резко возросло количество атак, направленных на подделку голоса или скрытие глубоких подделок. Эти атаки могут серьезно повлиять на безопасность, доверие к цифровым системам и юридические процессы. #### Метод Мы провели широкий анализ современных методов обнаружения глубоких подделок, посредством которых можно выявить глубокие подделки, использующие генерируемую звуковую информацию. Методика включала в себя два основных подхода: работу над звуковыми сигналами в "родном" формате (без предварительной обработки) и работу над спектрограммами (графическими представлениями звуковых сигналов). Мы использовали пять разных бенчмарк-датасетов, позволяющих протестировать различные методы обнаружения. Наша инфраструктура включала в себя такие подходы, как оптимизационные атаки (FGSM, PGD, C&W) и статистические модификации (например, разносятройка звуков, фильтрация, шум и др.). Мы проводили сравнительный анализ этих методов по метрикам, таким как точность, сенситивность и восстановление предложенных нюансов. #### Результаты Мы выполнили эксперименты на широком спектре глубоких подделок, используя пять разных датасетов. Мы оценивали как нововведения, так и уже существующие подходы к обнаружению глубоких подделок, чтобы понять, какие методы более эффективны в сравнении с другими. Наши результаты показали, что методы, основывающиеся на спектрограммах, показали лучший результат в том случае, когда данные были предварительно обработаны для извлечения закономерностей. Однако они оказались менее устойчивы в условиях атак, направленных на изменение звукового сигнала в "родной" формате. #### Значимость Наши результаты могут быть применены в сферах, где существует риск подделки голоса или глубоких подделок, таких как системы аудиоконференцсвязи, голосовые помощники, системы безопасности и проверка личности по голосу. Методы, разработанные в рамках нашего исследования, могут помочь в разработке более устойчивых систем,

#### Контекст Музыкальное исполнение является кросс-модальным процессом, который включает в себя аудио-, визуальные и даже третье-модальные сигналы (например, ритмические или структурные признаки). Однако большинство данных в области музыкальной информационной ретроспективы (MIR) ограничиваются только аудиосигналом, что существенно ограничивает возможности исследователей. Недостаток мультимодальных данных в MIR затрудняет развитие методов, моделей и алгоритмов, которые могли бы более глубоко и адекватно анализировать и понимать глубинные связи между различными модальностями в музыкальном исполнении. #### Метод Dataset PianoVAM представляет собой крупномасштабную коллекцию мультимодальных данных, содержащую видео, аудио, MIDI, ландмарки рук, метки нотного игры и многочисленную метаинформацию. Данные были записаны с помощью Disklavier-пианино, которое запечатлевало аудио и MIDI в режиме реального времени, а также синхронизированно воспроизводил видеозаписи в виде топ-видков. Ландмарки рук и метки нотного игры были извлечены с использованием предобученных моделей рери-позиционирования рук и с помощью специального алгоритма полуавтоматической аннотации игры. Задача сбора данных была связана с рядом технических трудностей, включая синхронизацию различных модальностей, корректную идентификацию рукопашных движений и их соотнесение с музыкальными заметками. #### Результаты На основе данных PianoVAM проводились эксперименты по транскрибированию аудио и видео. Набор данных был разделен на тренировочную, валидационную и тестовую выборку. Метриками оценки выступали точность транскрибирования и F1-меру. Обучение и оценка использовались на основе последних моделей глубокого обучения, таких как Transformer-based модели для видео-аудио транскрибирования. Исследования показали, что мультимодальный подход, включающий видео, избыточно улучшает точность предсказаний в сравнении с моделями, использующими только аудиосигнал. #### Значимость Полученные результаты указывают на важность мультимодальных методов в области MIR, особенно в контексте транскрибирования музыки. Данные PianoVAM могут быть использованы в разработке моделей, которые будут учитывать взаимодействие между звуком, видео и другими модальностями для получения более точных и естественных результатов. Это может быть применено в синтезе музыки, виртуальных пианистов, анализе исполнений и визуальных представлениях музыки, и даже в улучшении интерактивных систем для обучения и исполнения музыки. #### Выводы Представленный PianoV

## Контекст Аудиоданные широко используются в различных областях, таких как музыка, речь и среды. Одним из основных задач было решение классификации аудиозаписей по категориям и классам. Для этого применяются различные методы, включая сверточные нейронные сети (CNNs). Однако существуют различия в качестве и точности классификации в зависимости от выбранных функций. Распространенные функции включают mel-scaled spectrograms, MFCC, cyclic tempograms и др. Чтобы определить, какие функции показывают лучший результат, необходимо провести подробный анализ их результатов с использованием CNN. ## Метод Для анализа был использован диапазон функций, включая mel-scaled spectrograms, MFCC, cyclic tempograms и CQT chromagrams. Эти функции были использованы для построения многоканальных изображений в виде входных данных для сверточной нейронной сети. Набор данных ESC-50, содержащий 2000 записей, использовался для тестирования. Оценивались метрики точности, полнота, реколл и F1-меру. CNN была обучена в рамках энд-то-энд-подхода, чтобы определить качество классификации по категориям и классам. ## Результаты По результатам экспериментов, mel-scaled spectrograms и MFCC показали лучший результат в качестве классификации по категориям и классам. Оба показали высокую точность и F1-меру. MFCC лучше всего показались для классификации по классам, в то время как spectrograms оказались эффективными в категоризации. Остальные функции (cyclic tempograms, CQT chromagrams) показали нижнее качество, заметно уступив лидерам. ## Значимость Эти результаты имеют большую значимость для применения CNN в аудиоклассификации. Функции, эффективны в этой работе, могут стать предпочтительными для классификации в различных областях, таких как музыка, речь и среды. Особенно важно использовать MFCC для классификации по классам, так как они показали лучшие результаты. Это может улучшить качество и точность автоматических систем классификации звука. ## Выводы В итоге, методы mel-scaled spectrograms и MFCC оказались наиболее эффективными для классификации аудиоданных по категориям и классам с использованием CNN. В будущем можно расширить исследования, включив дополнительные данные и алгоритмы, чтобы улучшить качество классификации и расширить представление о данных.

## Контекст Устьевый пассивный акустический мониторинг (UPAM) предоставляет богатые данные по пространству и времени для длительного экологического анализа. Однако наличие встроенного шума и сложных зависимостей сигналов ставит под угрозу устойчивость моделей и их общезначимость. Несмотря на то, что мультислойная гладь улучшила локализацию целевых звуков, проблемы, такие как изменчивость изменчивого шума, различные эффекты распространения и смешанные биологические и антропогенные источники, требуют устойчивых архитектур и строгих экологических оценок. Поэтому требуется развитие методов, позволяющих эффективно работать с этими проблемами. ## Метод Разработан новый фреймворк для кросс-валидации, названный GetNetUPAM. Он разделяет данные на отдельные сегменты "сайт-год", сохраняя характеристики записи и обеспечивая, что каждая валидационная партия представляет собой уникальную экологическую подгруппу. Это снижает вероятность переобучения к местным шумам и артефактам сенсоров. Блокировка "сайт-год" включает общую экологическую разнообразность, в то время как классическая кросс-валидация на случайных подмножествах измеряет общую общую общую генерализацию, которая отсутствует в существующих бенчмарках. Используя GetNetUPAM, предлагается модель ARPA-N с адаптивным резолюционным пулингом и вниманием. Адаптивная пульпация с пространственным вниманием расширяет рецептурное поле, ловит крупномасштабную контекстную информацию без избытка параметров. ## Результаты В GetNetUPAM-окружении ARPA-N показала 14,4% увеличение средней точности по сравнению с DenseNet-базлами. Это привело к порядку меньшей вариабельности результатов во всех метриках. Эти результаты доказывают целесообразность ARPA-N в решении проблем устойчивости и общей эффективности моделей в UPAM. ## Значимость Разработанная архитектура и фреймворк могут быть применены в различных задачах мониторинга биоакустики, а также в других областях, где требуется обработка сложных акустических данных. Они обеспечивают более точную и консистентную обработку, что вносит вклад в улучшение оценок экосистем и развитие стоимостно эффективных решений для биоакустического мониторинга. ## Выводы Основным достижением является разработка универсального фреймворка для кросс-валидации и модели с адаптивным вниманием, которые позволяют увеличить точность и стабильность моделей в UPAM. Будущие исследования будут направлены на расширение возможностей модели для обработки более сложных сценариев и включения дополнительных источников данных для