Full-Frequency Temporal Patching and Structured Masking for Enhanced Audio Classification

#### Контекст Изучение звуковых классификационных задач находится в центре внимания в глубоком обучении, поскольку он имеет широкие приложения в распознавании речи, отслеживании звуков и анализе аудиоданных. Однако существуют сложности в моделировании аудио последовательностей, включая необходимость сохранения информации о частотах и времени в составе спектрограмм. Для решения этой проблемы вводятся различные патчинг-стратегии, способные лучше адаптироваться к характеристикам аудиоданных. Несмотря на успех трансформеров и State-Space Models (SSMs) в этой области, применение квадратных патчей наряду с классической преобразовательной архитектурой Audio Spectrogram Transformer (AST) и Audio Mamba (AuM) приводит к неэффективности в расчетах и сокращению точности. Наша работа направлена на улучшение эффективности моделей через более естественное патчинг. #### Метод Мы предлагаем Full-Frequency Temporal Patching (FFTP), новая стратегия патчинга, которая полностью соответствует характеристикам временно-частотных характеристик спектрограмм. Эта стратегия объединяет весь диапазон частот с локальным контекстом времени, сохраняя гармоническую структуру и уменьшая количество патчей. Чтобы совершенствовать информативность моделей, мы также предлагаем SpecMask, метод трансформации спектрограммы, который комбинирует полнофазовые и локально-частотные маскирования, сохраняя последовательность в оптимальном диапазоне и экономя вычислительные ресурсы. Финальная модель включает патчинг FFTP в архитектуры AST и AuM, а SpecMask применяется в процессе обучения. #### Результаты Мы провели эксперименты на AudioSet-18k и SpeechCommandsV2. Наша модель FFTP с SpecMask показала улучшение метрики mAP на +6.76 на AudioSet-18k и +8.46 на SpeechCommandsV2. Это свидетельствует о том, что улучшенные патчинг-стратегии влияют на точность классификации. В то же время, метод FFTP снизил потребление вычислительных ресурсов на 83.26%, показав высокую эффективность. Это означает, что FFTP предлагает существенное улучшение как в качестве классификации, так и в скорости обработки. #### Значимость Решение, предложенное в нашей работе, может быть применено в многочисленных областях, таких как распознавание речи, мониторинг звуков и анализ музыкальных композиций. Улучшенные патчинг-стратегии и метод SpecMask делают модели более эффективными и точными. Этот подход может сильно повлиять на развитие звуковой обработки, повышая как точность, так и эффективность работы моделей. #### Выводы Мы успешно продемонстрировали, что FFTP и SpecMask могут значительно улучшить работу моделей AST и AuM. Наши рез