Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting

#### Контекст Modern vision-language pipelines, вдохновленные моделями типа CLIP, возникли как решение задач, требующих сильного переноса между задачами и высокой гибкостью. Они построены на визуальных представлениях, полученных в результате обучения RGB-вендоров на больших корпусах изображений и текстов. Тем не менее, эти представления имеют две существенные неэффективности: (i) передача плотных RGB-оттенков на платформах с ограниченными ресурсами — дорогостоящая и энергоемкая операция, и (ii) токенизация пикселей на чанки — это приводит к гигантскому потоку данных, накладывающему ограничения на контекстную модель и напряжающему бюджет аутентификации. Наша исследовательская мотивация заключается в оценке может ли 2D Gaussian Splatting (2DGS), более эффективная и сжатая визуальная модель, стать альтернативой RGB-визуализации для vision-language моделей. #### Метод Методология основывается на разработке и оптимизации 2DGS-представлений, используя структурированный подход: (i) **инициализация**, ориентированная на многоугольники, чтобы воспроизвести пиксельные тензы; (ii) **удаление яркости света**, чтобы уменьшить количество Гауссианских сплатов; (iii) **батч-оптимизация CUDA-ядер**, чтобы увеличить эффективность GPU. Мы также фиксировали RGB-трансформер CLIP и разработали **адаптивный подход**, включающий: (i) лёгкую структуру входа, приспособленную к 2DGS, и (ii) **перцептр-ресемплер**, который позволяет повторно использовать 85% параметров CLIP. Таким образом, мы можем тренировать только 7% параметров модели, оставив остальные параметры замороженными. #### Результаты Мы провели эксперименты на DataComp, сравнивая полученные 2DGS-представления с исходными RGB-представлениями. 2DGS эффективно сжимает данные: от 3 до 20 раз по сравнению с RGB-пикселями. Мы получили неплохие значения zero-shot ImageNet-1K, что демонстрирует способность 2DGS генерировать смысловые представления. Однако в то же время, актуальные результаты в ImageNet-1K намного хуже, чем у RGB-визуализаций. Это предоставляет возможность определить будущие направления по улучшению эффективности 2DGS. #### Значимость 2DGS-представления могут использоваться во многих областях, в том числе: 1. **Низкоэнергоёмкие платформы** — решение для сенсорных и ограниченных ресурсных устройств, таких как мобильные телефоны и AR/VR-головные устройства. 2. **Визуально-текстовые модели** — 2DGS может стать более эффективной альтернативой RGB-визуализации для обучения моделей с широким покрытием задач. 3. **Энергоносительные технологии** — 2DGS предлагает эффективно