Learning Robust Spatial Representations from Binaural Audio through Feature Distillation

## Контекст Улучшение понимания среды через спектро-саунадовая характеристика звука является ключевым аспектом в многих приложениях, таких как локализация источников звука, системы навигации, и искусственное интеллект. Однако, обучение моделей классификации и оценки звуков часто требует больших объемов меток данных, которые могут быть трудозатратными и дорогостоящими в получении. Бинаurale аудио, с его уникальными монокультарными характеристиками, представляет собой сильный потенциал для повышения понимания среды. Тем не менее, многие существующие методы либо не эффективны при использовании суровых условий (например, шумовых или реверберативных средах), либо требуют полностью меток данных. Мы рассматриваем новую методологию, которая использует предварительную тренировку характеристик с помощью фильтрации представлений, чтобы улучшить обучение моделей бинаулярного звука для оценки направления прибытия (DoA) без требования меток данных. ## Метод Мы предлагаем использовать предварительную тренировку модели через фильтрацию представлений с использованием чистых запиков элементов спектро-саунадов, отформатированных как прогнозные метки. Эти чистые элементы формируются из бинаулярных семплов аудио и затем используются для обучения модели, которая предсказывает эти чистые элементы из обучающих данных. Мы используем аугментированные бинаулярные звуковые данные для получения представлений, которые могут быть прогнозированы с помощью нейронной сети. Чтобы повысить жесткость и универсальность представлений, была применена техника предварительной тренировки. После этого, мы удаляем слой предсказателя и используем веса из обученного энкодера для инициализации модели DoA, которая тренируется для оценки направления прибытия. ## Результаты Мы оценивали нашу модель на двух открытых наборах данных: руководственном сеансе VIRTUAL-HEADSET и данных из нынешнего конкурса LOCATA. Мы сравнивали нашу модель с двумя типами моделей: одной, которая была развита с полностью тренированными данными, и другой, которая тренировалась с использованием классических методов сигнальной обработки. Наши результаты показывают, что предварительно тренированная модель показывает улучшенное поведение в ситуациях с шумом и реверберацией, когда мы применяем технику DoA-оценки после тренировки, в сравнении с полностью тренированными моделями и классическими методами. ## Значимость Наше исследование показывает как предварительная тренировка модели через фильтрацию представлений может значительно повысить эффективность обучения моделей для о