The Telephone Game: Evaluating Semantic Drift in Unified Models

#### Контекст Современные визуально-языковые модели (Visual Language Models, VLM) стремятся объединить возможности по обработке имиджей и текста в единой модели. Эти модели обладают высоким потенциалом в задачах, требующих устойчивого понимания и консистентного генерирования визуальной и текстовой информации. Однако существуют проблемы с приоритезацией одной области над другой во время обучения, что приводит к снижению качества взаимодействия модели с данными в процессе циклических преобразований. Эта проблема, известная как semantic drift, остается недостаточно изученной. #### Метод Для изучения semantic drift мы предлагаем **Unified Consistency Framework for Unified Models (UCF-UM)** — новый протокол оценки, основанный на циклическом тестировании. Он включает в себя многошаговый процесс: текст преобразуется в изображение, а затем это изображение снова преобразуется обратно в текст. Этот цикл повторяется несколько раз, чтобы измерить ухудшение понимания и консистентность. Мы представляем три новых метрики: - **Mean Cumulative Drift (MCD)** — усредненное изменение семантики с использованием векторного представления. - **Semantic Drift Rate (SDR)** — скорость уменьшения значимости смысла. - **Multi-Generation GenEval (MGG)** — мера соответствия объектной информации на последних этапах цикла. Данные для экспериментов были подготовлены с помощью создания нового бенчмарка ND400, сочетающего данные из NoCaps и DOCCI. Мы проверили семь моделей с разными архитектурами и обучающими данными. #### Результаты Эксперименты показали, что модели различаются существенно по устойчивости в циклических задачах. Например, модель BAGEL показала маргинальную потерю семантики после множественных итераций, в то время как модель Vil-u быстро утратила смысл даже с хорошими одношаговыми результатами. Эти наблюдения подтверждают, что устойчивость к semantic drift является ключевым фактором для оценки моделей, а не только I2T и T2I оценок. #### Значимость Результаты могут быть применены в разработке моделей с глубжей синергией между визуальным и текстовым пониманием. Метрики UCF-UM позволяют выявлять недостатки в общей обработке смысла, независимо от высоких результатов в отдельных задачах. Это может улучшить протоколы обучения и разработку моделей, способных поддерживать консистентность в различных моделях VLM. #### Выводы Мы показали, что cyclic consistency является ключевым аспектом для оценки сильной модели VLM. Наши результаты раскрывают необходимость продолжительных циклических тестов в дополнение к стандартным одношаговым оценкам. Будущие исследования будут сосредоточены на расширении UCF-UM для разных моделей и задач, а также на создании моделей с более высокой устойчивостью к semantic