MATPAC++: Enhanced Masked Latent Prediction for Self-Supervised Audio Representation Learning

## Контекст Masked Latent Prediction (MLP) является ведущим подходом в самостоятельной организации обучения (SSL) для извлечения аудио и музыкальных представлений. Несмотря на успех этого подхода, его ключевые элементы, такие как модуль предсказания, часто не получают должного внимания, несмотря на их критическую роль в решении задачи предварительной обработки. Эта ситуация становится особенно важной при работе с мульти-источниковыми аудиозаписями, где амбигуарность содержания может существенно скорректировать результаты. Этот аспект остается нерешенным в большинстве существующих методов SSL. Для улучшения этой области, эта работа предлагает интеграцию Multiple Choice Learning (MCL) в модель MATPAC, чтобы явно обрабатывать амбигуарность в аудиоданных и улучшить полученные представления. ## Метод Модель MATPAC++ основывается на MATPAC, но включает в себя новую компоненту, использующую Multiple Choice Learning (MCL). Это решение позволяет модели явно рассматривать несколько возможных предсказаний для каждого звукового фрагмента, включая те, которые могут быть неточными изначально. Такой подход позволяет модели учитывать амбигуарность в аудиоданных, которая часто встречается в мульти-источниковых записях. Модель MATPAC++ также оптимизирует предыдущие представления, улучшая качество и точность прогнозирования. Используемые данные включают разнообразные аудиозаписи, такие как музыка, беседы и естественные звуки, чтобы проверить модель в различных условиях. ## Результаты Эксперименты показали, что MATPAC++ превосходит предыдущие SSL-методы в задачах линейного проbing и классификации без учителя. Модель показала значительное улучшение в обработке мульти-источниковых записей и демонстрирует высокую эффективность при обучении на музыкальных данных. Было проведено подробное сравнение с другими лидирующими моделями SSL, и MATPAC++ показала себя как самая эффективная в общих задачах и отдельно в музыкальном домене. Эти результаты достигнуты благодаря интеграции MCL, которая значительно улучшает точность предсказания и уменьшает погрешность. ## Значимость MATPAC++ может использоваться в различных областях, таких как анализ аудио, синтез музыки, контент-прослушивание и даже в робототехнике для распознавания аудиосигналов. Важно, что модель показала себя как очень эффективная в обучении на музыкальных данных, где она показывает свою способность к работе с мульти-источниковыми записями. Это делает ее привлекательной для приложений, требующих высокоточного анализа аудиоинформации. MATPAC++ также улучшает скорость обучения и эффективность, что может положительно сказаться на применении в реаль