Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning

## Контекст Организация и анализ данных — ключевые задачи в машинном обучении, которые часто зависят от того, насколько эффективно мы можем измерить расстояние и сходство данных в различных пространствах представления. Информационный контрастный (I-Con) фреймворм показал, что более 23 методов обучения представлений подразумевают минимизацию KL-дивергенции между данными и выученными распределениями, которые описывают сходство точек данных. Однако KL-дивергенция может быть несогласованной с истинным целевым функционалом и иметь нежелательные свойства, такие как асимметрия и неограниченность, что создает проблемы в оптимизации. В этом контексте возникает потребность в развитии более гибких и точных подходов к измерению расстояний и сходств в представлениях. ## Метод Мы предлагаем Beyond I-Con — расширенный фреймворк, который расширяет I-Con, исследуя альтернативные статистические дивергенции и сходственные меры. Методология включает в себя: 1. Использование различных дивергенций, таких как total variation (TV) и f-дивергенции, для измерения расстояний. 2. Оптимизацию потерь с использованием различных сходственных мер, таких как ангулярное и расстояние-подобное мерение. 3. Разработка гибкой архитектуры, позволяющей интегрировать эти модификации в существующие представления. Наша модель адаптируется к различным задачам, включая неуправляемое кластеризация, управляемое супервизированное обучение и разнообразные задачи уменьшения размерности. ## Результаты Мы провели эксперименты на широком круге задач и данных, включая DINO-ViT embeddings для unsupervised clustering, supervised contrastive learning и dimensionality reduction. 1. На задаче unsupervised clustering мы достигли state-of-the-art результатов, используя PMI с total variation (TV) вместо KL. 2. В supervised contrastive learning мы показали, что TV и distance-based similarity kernel превосходят KL и angular kernel. 3. На задачах dimensionality reduction, таких как SNE, наши модификации показали более качественные результаты и лучшую производительность на downstream tasks при замене KL на bounded f-divergence. Эти результаты подтверждают важность рассмотрения различных дивергенций и мер сходства в оптимизации представлений. ## Значимость Наши разработки могут быть применены в различных областях, включая computer vision, natural language processing и даже bioinformatics, где точное измерение расстояний и сходств критично. Наши подходы предлагают: 1. Улучшенную точность за счет использования более гибких дивергенций и мер сходства. 2. Решение проблем, связанных с asymmetry и unboundedness в KL-дивергенции. 3. Гибкость, позволяющую применять нашу модель к различным задачам. Эти достоинства открывают новые горизонты для представлений и их применения в реальном мире. ## Выводы Мы представили Beyond I-Con, расширенный