SupCLAP: Controlling Optimization Trajectory Drift in Audio-Text Contrastive Learning with Support Vector Regularization

#### Контекст Contrastive language-audio pretraining (CLAP) широко применяется в сферах, таких как кросс-модальная рекуренция, аудио-текстовые задачи транскрипции и моделирование языка. Основная цель CLAP заключается в создании универсальных мультимодальных представлений в общем пространстве. Однако, несмотря на свои преимущества, CLAP сталкивается с проблемами, такими как нестабильность тренировки и траектория оптимизации. Такие проблемы возникают из-за неконтролируемого вклада отрицательных примеров, которые могут добавлять ненужной шумной информации. Этот феномен создает серьезные сложности для построения точных и стабильных моделей. Мотивация заключается в разработке метода, который мог бы управлять данными шумовыми компонентами и обеспечивать более стабильную и эффективную оптимизацию. #### Метод Методом решения становится Support Vector Regularization (SVR), который вводит в процесс оптимизации дополнительные вспомогательные векторы, называемые "поддерживающие векторы". Эти векторы служат для контроля произвольного вклада отрицательных примеров, который может вызвать нестабильность. SVR использует семантическую радиусную регуляризацию для точного контроля радиуса поддерживающих векторов. Метод предлагает два способа моделирования семантического радиуса: параметрическое описание и адаптивный радиусный предиктор с дополнительными ограничениями. Эти подходы позволяют оптимизировать учёт шумовых компонентов, уменьшая риск нестабильности и улучшая скорость и качество оптимизации. #### Результаты Разработка была проверена на различных знаковых аудио-текстовых датасетах. Метод SVR показал существенные преимущества по сравнению с широко применяемыми подходами, такими как InfoNCE и SigLIP. Эксперименты показали, что SVR существенно улучшает стабильность тренировки и качество моделей в задачах классификации, монолингвой и мультилингвой рекуренции. Теоретические анализы подтверждают, что SVR эффективно контролирует траектории оптимизации и позволяет избежать ненужных шумовых компонентов. Эксперименты также подтвердили, что параметрический и адаптивный подходы к моделированию семантического радиуса дают приемлемую точность в различных сценариях. #### Значимость Результаты SVR находят широкое применение в современных моделях транскрибации, кросс-модальной навигации и взаимодействия с текстом и аудио. Улучшенная стабильность и точность SVR позволяют эффективнее использовать мультимодальные модели в сложных задачах моделирования языка и аудио. Это не только улучшает качество результатов, но и обеспечивает более стабильный и точный процесс тренировки моделей. П