Lost in Embeddings: Information Loss in Vision-Language Models

## Контекст Визуально-языковые модели (Vision-Language Models, VLMs) широко применяются в задачах компьютерного зрения, таких как визуально-текстовый поиск, вопрос-ответ и генерация описаний изображений. Они объединяют знания из двух модальностей — изображений и текстов — для моделирования взаимосвязей между ними. Однако одна из самых критических частей таких моделей — проекция визуальных данных в общую плоскость векторных представлений — остается мало исследована. Эта проблема может привести к существенным потерям информации, которые непосредственно влияют на качество модели. Таким образом, исследование и измерение этого процесса является важной задачей для улучшения понимания и эффективности VLMs. ## Метод Для исследования потери информации в проекционном процессе использовались две комплементарные подходы. Первый — оценка математической точности сохранения семантической информации с использованием метода к-самых близких соседей (k-NN). Эта методика использует изменения в отношениях близости между визуальными представлениями в пространстве перед и после проекции. Второй подход — прямое измерение потерь информации с помощью восстановления проецированных векторов с помощью локальных моделей (например, CNNs), что позволяет определить области в изображении, где происходит наиболее существенная потеря. Эти методы позволяют выявить и анализировать состояние внутренней структуры представлений. ## Результаты Эксперименты проводились на корпусах данных, включая COCO и Conceptual Captions. Результаты показали, что проекционная компонента VLMs приводит к значительным изменениям в локальной геометрии представлений, что отражается в деградации производительности задач восстановления контекста и вопроса-ответа. Например, после проекции k-NN отношения разрушаются на 40–60%, что сильно снижает эффективность моделей. Также обнаружено, что высокая информационная потеря в представлениях локальных патчей соотносится с плохим выполнением моделей на задачах визуально-текстового понимания. ## Значимость Результаты имеют большое значение для развития VLMs и моделей модулярного обучения. Они позволяют выявить с WEAKEST LINKS в процессе моделирования и направлять усилия на их улучшение. Известно, что семантические и локальные представления — ключевые компоненты моделей, и их потеря может сильно снизить эффективность. Например, такие проблемы можно увидеть при работе с сетями визуального поиска, где плохое представление области изображения может привести к неверному ответу. Эти результаты способствуют развитию новых архитектур, которые будут уменьшать потери информа