LLaVA-Critic-R1: Your Critic Model is Secretly a Strong Policy Model

## Контекст Область визуально-языковых моделей (Vision-Language Models, VLM) широко применяется в задачах визуального понимания и решении интеллектуальных задач. Одним из ключевых элементов этих моделей являются критические модели (critic models), которые обычно используются для оценки и поддержания качества генерируемых ответов, а не для их генерации. Это разделение между критическими и политическими моделями (policy models) во многом стало привычкой, хотя оно ограничивает потенциал моделей. В данной работе мы выступаем за перемену этого подхода, предлагая переорганизовать критические данные с приоритетом предпочтений (preference-labeled critic datasets) в подходящий вид для тренировки, чтобы объединить возможность оценки и генерации в одной модели. ## Метод Мы предлагаем реконструировать критические данные, используя процедуру рейтинга по приоритетам (preference-based ranking), чтобы обеспечить тренировку моделей с помощью реинфорсментного обучения (reinforcement learning, RL). Этот подход преобразует критические модели в полноценные политические модели, которые не только оценивают, но и генерируют ответы. Мы применяем этот подход к модели LLaVA-Critic-R1, которая является начальной моделью типа critic, но обучается с помощью RL для достижения качества политической модели. Этот процесс включает в себя использование данных, относящихся к определенной тематике, и тренировку модели для оптимизации приоритетов предпочтений. ## Результаты Мы проводили эксперименты с LLaVA-Critic-R1 на 26 задачах визуального понимания и решения. Она показала себя как высококачественная критическая модель и, в то же время, как мощная политическая модель. Особенно заметна была ее способность повысить качество генерации ответов, набрав до 5.7% больше, чем базовая модель (Qwen-2.5-VL-7B). Мы также расширили этот подход, создав LLaVA-Critic-R1+, которая дает еще большее улучшение в политических моделях без потери качества критического анализа. На репрезентативной метрике MMMU она достигла рекордного результата 71.9 при работе на семи миллиардах параметров. Наконец, мы проверили, как самокритический анализ во время тестирования может улучшить результаты в пяти визуальных задачах, набрав до 13.8% improvements. ## Значимость Наш подход открывает новые возможности для создания универсальных моделей, которые обладают как критическими, так и политическими способностями. Это значительно увеличивает скейлинг и самоподготовление моделей в области визуального понимания. Мы показываем, что модели, обученные с использованием наших методов, могут быть применены в различных задачах, включая логическое р vine-reasoning и визуальное понимание. Это делает нашу работу важной для развития самоо