From Bias to Balance: Exploring and Mitigating Spatial Bias in LVLMs

#### Контекст Large Vision-Language Models (LVLMs) зарекомендовали себя в решении многообразных задач, включая описание изображений, вопрос-ответ и оценку яркости текста. Однако их устойчивость к пространственным изменениям в изображениях остается недостаточно исследована. Любые изменения места расположения объектов или текста могут привести к разным выводам, даже когда содержание изображения остается неизменным. Это ставит под сомнение надежность текущих моделей в работе со сложными сценариями, где пространственная симметрия играет ключевую роль. Исследование проблемы подлинности и устойчивости моделей к пространственным изменениям является актуальным и необходимым для исправления ограничений и улучшения качества прогнозирования. #### Метод Для изучения проблемы пространственной биаса в LVLMs разработана специальная пробная выборка, в которой изображения отличаются только местом размещения ключевого объекта. Эта методика позволяет сравнить выводы моделей в зависимости от положения объекта в изображении. Технический подход включал анализ поведения моделей с разными стратегиями позиционных эмбеддингов и их влиянием на кросс-модальный синтез. Было проанализировано, как различные реализации позиционных эмбеддингов (например, RoPE) влияют на представление пространственных данных в моделях. Также была разработана новая стратегия, **Balanced Position Assignment (BaPA)**, которая присваивает одинаковые позиционные эмбеддинги всем токенам изображения, чтобы сбалансировать их вклад в кросс-модальный анализ. #### Результаты С помощью пробной выборки было показано, что LVLMs часто дают разные ответы на задачи, где ключевой объект расположен в разных частях изображения. Эксперименты показали, что проблема происходит не из-за визуального режима, который правильно воспринимает объекты независимо от их положения, но из-за несбалансированного обработки позиций в модели языка. Применение BaPA позволило достичь более сбалансированного вклада каждого токена в кросс-модальный анализ, улучшив устойчивость моделей к пространственным изменениям. Было также показано, что BaPA повышает производительность на процессе fine-tuning, улучшая результаты на различных многомодальных задачах. #### Значимость Результаты имеют большое значение для области многомодального моделирования. Благодаря BaPA, LVLMs становятся устойчивее к пространственным изменениям, что позволяет использовать их в приложениях, где важно понимание содержания независимо от места расположения объектов. Это включает такие области, как реалистичное визуальное понимание, синтез видеотекста и вопрос-ответ в сценариях, где изображения и текст имеют сильное пространственное содержание. В будущем