#### Контекст Аудио-предварительно обученные модели широко используются для решения задач в области обработки речи, детекции звуковых событий и исследования музыкальной информации. Однако, представления, извлеченные этими моделями, часто остаются непонятными. Анализ таких представлений ограничивается линейным пробным подходом, что не позволяет получить полное представление о том, что эти модели действительно "видят" в звуковых данных. Это приводит к проблемам в их использовании для задач, требующих транспарентности и объяснимости решений. Наша мотивация состоит в том, чтобы раскрыть эти представления, обеспечив более четкое понимание процесса обучения без надзора и улучшить понимание факторов, которые вкладываются в звуковые представления. #### Метод Мы предлагаем использовать **Sparse Autoencoders (SAEs)** для анализа представлений, извлеченных аудио-предварительно обученными моделями. SAEs — это архитектуры нейронных сетей, которые научились сокращать размерность входных данных, сохраняя основные черты информации. В нашем случае, мы используем SAEs для декомпозиции представлений, извлеченных аудио-предварительно обученными моделями. Эти SAEs позволяют идентифицировать важные факторы, включенные в представления, и дают возможность "разглядеть" то, что именно сеть учится. Мы также применяем этот подход к классификации техники пени, чтобы демонстрировать пользу SAEs в практических сценариях. #### Результаты Мы проводим эксперименты с использованием различных аудио-предварительно обученных моделей, таких как Wav2Vec и HuBERT. Мы показываем, что SAEs могут декомпозировать что-то, что модели "видят" в звуковых данных, в том числе влияние таких факторов, как интонация, ритм и структура пение. Эти результаты показывают, что SAEs действительно могут улучшить четкость и понимание того, что происходит внутри аудио-предварительно обученных моделей. Мы также показываем, что SAEs могут улучшить разделяемость важных вокальных атрибутов, что делает их эффективным инструментом для разбора звуковых представлений. #### Значимость Мы видим применение этого подхода во многих областях, включая классификацию звуковых событий, обработку речи и стилизацию музыки. Однако, главное преимущество SAEs заключается в том, что они позволяют получить более транспарентные инсайты из аудио-предварительно обученных моделей, что в свою очередь может сделать такие модели более доступными для применения в реальной жизни. Эта транспарентность не только улучшает понимание моделей, но и может помочь в разработке более эффективных моделей в будущем. #### Выводы Мы демонстрируем, что SAEs могут с

## Контекст Аудиоклассификация — это важная задача в области обработки звуковых данных, которая находит применение в многочисленных приложениях, таких как звуковой анализ, речевые ассистенты, автоматическая распознавание речи и анализ сенсорных сетей. Однако существуют сложности, связанные с ограниченной точностью и способностью существующих моделей обрабатывать сложные аудиоданные. Недавние развития в области языковых моделей, особенно те, что связаны с улучшением "мыслительных" способностей, показали, что модели могут быть обучены не только просто классифицировать, но и "думать" над задачами, что позволяет повысить точность классификации и улучшить понимание категорий. Наша мотивация заключается в исследовании способов интегрировать такие "мыслительные" процессы в модели для аудиоданных, а также в разработке архитектур, которые могут обеспечить эффективность в реальном времени, в том числе тест-тайм скалированием. ## Метод Мы предлагаем фреймворк, который включает в себя несколько ключевых элементов: (i) интеграция "мыслительных" процессов в модели классификации аудио, чтобы они могли выполнять рациональные выводы над категориями; (ii) разработка архитектуры, которая поддерживает "мыслительные" процессы во время тестирования (тест-тайм скалирование); (iii) эффективное использование моделей с меньшим количеством параметров для реализации этих возможностей. Мы используем методы тест-тайм скалирования, где модель производит несколько повторных проходов по тестовым данным с различными инициализациями, что позволяет повысить точность. Мы также рассматриваем два открытых текстовых модели размышления — GPT-OSS-20B и Qwen3-14B — для сравнения с нашей моделью. ## Результаты Мы проводим эксперименты, используя широкий набор данных, включая AudioSet и ESC-50, для оценки нашей модели. Мы сравниваем наше решение с существующими моделями, включая GPT-OSS-20B и Qwen3-14B. Наши эксперименты показывают, что модель, использующая тест-тайм скалирование, показывает значительные повышения точности в классификации аудио по сравнению с стандартными моделями. Мы также показываем, что модели с меньшим количеством параметров, такие как retrained GPT-2, могут превосходить в показателях точности модели с миллиардами параметров, таких как GPT-OSS-20B, благодаря ретраинированию только входного вектора. ## Значимость Наш фреймворк может применяться в различных сферах, таких как автоматическая распознавание речи (ASR), анализ сенсорных сетей, аудио аналитика для робототехники и даже в области здравоохранения (например, звуковые сигналы для диаг

## Контекст **Multi-channel audio alignment** является важной задачей в области биоакустического мониторинга, пространственной аудиосистемы и акустической локализации. Однако существующие методы часто сталкиваются с проблемами, такими как **nonlinear clock drift** (нелинейное смещение часов) и невозможность оценивать **uncertainty** (неопределенность). Традиционные методы, такие как **cross-correlation** и **Dynamic Time Warping (DTW)**, предполагают простые шаблоны смещения и не предоставляют меры надежности. Несмотря на то, что **deep learning models** позволяют находить более точные решения, они в основном рассматривают задачу синхронизации как **binary classification task** (задачу бинарной классификации), не учитывая зависимости между каналами и неопределенность решений. Мы предлагаем **Cross-Attention with Confidence Weighting**, метод, который объединяет **cross-attention mechanisms** и **confidence-weighted scoring** для улучшения многоканальной синхронизации аудио. Это решение позволяет улучшить точность и надежность синхронизации в различных критически важных приложениях. ## Метод Мы расширили **BEATs encoders** (BEATs - Bidirectional Encoder Attention Transformer), добавив **cross-attention layers** для моделирования взаимосвязей между каналами. Эти слои позволяют учитывать характеристики и хронологические зависимости данных. Далее, мы разработали **confidence-weighted scoring function**, которая использует **full prediction distribution** (полное распределение предсказаний) вместо бинарного трешхолда. Эта функция позволяет оценивать **uncertainty** и принимать во внимание все возможные результаты. Наша реализация использует **probabilistic temporal alignment** (пробабилистическую временную синхронизацию), устраняя необходимость в чистом точном решении и предоставляя **confidence scores** (оценки надежности). Эта модель позволяет решать задачи синхронизации в рамках биоакустических приложений, но также может быть применена к другим задачам многоканальной аудиосинхронизации, где надежность и уверенность в результатах критически важны. ## Результаты Мы проверили нашу модель на различных датасетах, включая **ARU** и **zebra finch**. На **ARU dataset**, наш метод показал **0.14 Mean Squared Error (MSE)**, что составляет **77%** снижения по сравнению с базовым глубокому обучению (**deep learning baseline**), который показал **0.58 MSE**. На датасете **zebra finch** наш результат составил **0.45 MSE**, что составляет **18%** снижения по сравнению с базовым результатом. На **BioDCASE 2025 Task 1 challenge**, наша модель получила **0.30 MSE**, что является **наилучшим результатом** среди участников. Эти результаты демонстрируют высокую точность и надежность нашего подхода в синхронизации многоканального аудио. Мы также продемонстрировали, что наш метод позволяет улучшить **probabilistic temporal alignment**, что делает его применимым в ситуациях, где требуется уверенность в результатах. ## Значимость Наш метод может применяться в **bioacoustic