A TRIANGLE Enables Multimodal Alignment Beyond Cosine Similarity

## Контекст Multimodal learning является ключевым инструментом в развитии искусственного интеллекта, позволяя ему объединять данные из различных модальностей (например, текста, звука и видео) для построения более глубокого представления. Несмотря на прогресс в этой области, текущие модели страдают от существенных ограничений, которые не позволяют полностью реализовать потенциал многомодальных систем. Одна из основных проблем заключается в том, что многие методы не обеспечивают достаточной индикации того, что все модальности достаточно эффективно выравнены. Это может привести к несоответствию модальностей и, как следствие, к неэффективности модели в задачах, где необходимо использовать всю доступную информацию. В данной работе мы предлагаем TRIANGLE, новую меру сходства, которая делает возможным более точное выравнивание модальностей за счет вычисления в пространстве выше-мерного соответствия векторов модальностей. ## Метод TRIANGLE (TRI-modAl Neural Geometric LEarning) представляет собой новую метрику, которая вычисляется непосредственно в пространстве выше-мерного соответствия, основанного на векторах модальностей. Метод основывается на квадрате треугольника, который позволяет значительно улучшить выравнивание модальностей без необходимости дополнительных слоёв фузирования или вычисления парных сходств. Одним из ключевых аспектов является то, что TRIANGLE может быть легко интегрирован в контрастные потери, заменяя традиционный подход с использованием косинусного сходства. Это позволило существенно повысить эффективность модели, особенно при многомодальных задачах, таких как видео-текст и аудио-видео классификация. ## Результаты Проведенные эксперименты показали, что TRIANGLE значительно повышает производительность моделей многомодального обучения. Например, в задачах видео-текст и аудио-видео классификации, TRIANGLE показал улучшение показателей Recall@1 до 9 баллов в сравнении с традиционными методами, основанными на косинусной мере сходства. Это достигается благодаря более точному выравниванию модальностей и интерпретируемой природе меры сходства. Использование TRIANGLE показало себя эффективно в различных датасетах, демонстрируя значительный прогресс в области многомодального обучения. ## Значимость Предложенный подход имеет широкие области применения в многомодальном обучении и может быть использован в задачах, где необходимо выравнивание трёх или более модальностей. TRIANGLE предлагает преимущества в том числе большей точности, интерпретируемости результатов и гибкости реализации. Это может иметь значительное влияние на развитие систем, использующих многомодальные данные, таких как системы распоз