Calibrating MLLM-as-a-judge via Multimodal Bayesian Prompt Ensembles

#### Контекст Многоmodalные large language models (MLLMs) приобрели значительное применение в оценке систем генерации текст-to-image (TTI), обеспечивая автоматизированные решения на основе визуальных и текстовых контекстов. Однако эти "судьи" терпят неудачу в учёте разнообразия визуальных данных, часто страдая от смещений, переоценки и непоследовательности в результатах. Дополнительно, существующие методы энсемблирования проваливаются в генерализованности к TTI. Это приводит к недостаточной точности и неполадкам в оценке качества изображений. Мы разработали Multimodal Mixture-of-Bayesian Prompt Ensembles (MMB) — метод, который учитывает multimodal-специфику и исправляет эти проблемы. #### Метод ММБ — это способ, основанный на Байесовской модели, который применяет несколько промодовных моделей для подготовки запросов. Мы используем кластеризацию изображений для уточнения весов при решении, а также внедряем multimodal-контекст в процесс оценки. Это позволяет модели оптимально сочетать вклады каждого модели, учитывая визуальные особенности каждого изображения. ММБ позволяет модели более точно эвристически определять неопределённость и выводить принятия, что улучшает качество предсказаний. #### Результаты Мы провели эксперименты с двумя TTI-датасетами HPSv2 и MJBench. ММБ показала превосходство по алгоритмам по умолчанию в предсказаниях и калибровке. Наши результаты показали, что MMB значительно улучшает верность оценок в pairwise-предпочтениях и повышает уверенность в полученных результатах. Эти результаты подтверждают, что MMB значительно превосходит существующие технологии в качестве метода для оценки TTI. #### Значимость ММБ применяется в формировании запросов к моделям с многоуровневой оценкой изображений. Она позволяет улучшить качество вывода и повысить уверенность в решениях. Это имеет огромный потенциал в разработке новых систем TTI, включая системы для проверки качества изображений, поиска и анализа. #### Выводы Мы показали, что MMB является эффективным способом улучшить калибровку судей в TTI-сценариях. Наши достижения указывают на необходимость развития multimodal-конкретных стратегий в глубоком обучении. Мы планируем расширить наши исследования, обобщая MMB на более отклонённые наборы данных и развивая более широкую поддержку multimodal-технологий.