R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning
2508.21113v1
cs.CV, cs.AI, cs.LG
2025-09-02
Авторы:
Jie Jiang, Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng
Резюме на русском
#### Контекст
В последние годы наблюдается стремительное развитие мультимодальных больших языковых моделей (MLLMs), которым присущи способности к структурированному мышлению. Однако, несмотря на их мощь, эти модели часто применяют сложные методы мышления даже для решения простых задач, в результате чего возникают проблемы эффективности и экономии ресурсов. Необходимость адаптивного подхода, при котором модель автоматически определяла бы необходимость применения сложного мышления, стала мотивацией для разработки R-4B. Эта модель предназначена для автоматического решения задач с применением индивидуального подхода, который учитывает их сложность.
#### Метод
R-4B использует **би-режимную аннелинг-методику** (bi-mode annealing), чтобы включать два режима работы: "thinking" (сложное мышление) и "non-thinking" (простой подход). В первой стадии обучения модель учится на специально подобранном датасете, включающем образцы как с требующими сложного мышления, так и простыми задачами. Во второй стадии R-4B подвергается усовершенствованному фреймворку **GRPO** (improved GRPO), в котором политическая модель распределяет входные запросы между двумя режимами. Таким образом, R-4B научилась использовать как сложные, так и простые методы решения задач, оптимизируя вычислительные затраты.
#### Результаты
На 25 тестовых бенчмарках, R-4B показала выдающиеся результаты. Она превосходит Qwen2.5-VL-7B в большинстве задач и показывает результаты, сопоставимые с более крупными моделями, такими как Kimi-VL-A3B-Thinking-2506 (16B), но с значительно более низкими затратами вычислительных ресурсов. На примерах, требующих сложного мышления, R-4B демонстрирует максимальную эффективность, при этом не применяя медленные сложностные методы для простых задач.
#### Значимость
R-4B может использоваться в различных областях, где требуется эффективная работа моделей, оценивающих сложность задачи. Это могут быть приложения в области автоматизации, либо задачи, требующие быстрого решения. Особенно выгодной модель оказывается в ситуациях, когда необходимо минимизировать вычислительные затраты без потери точности.
#### Выводы
Результаты тестирования R-4B доказывают актуальность и эффективность адаптивного подхода в развитии MLLMs. Будущие исследования будут сконцентрированы на улучшении точности модели в сложных задачах и её эффективности в работе с большими объемами данных.
Abstract
Multimodal Large Language Models (MLLMs) equipped with step-by-step thinking
capabilities have demonstrated remarkable performance on complex reasoning
problems. However, this thinking process is redundant for simple problems
solvable without complex reasoning. To address this inefficiency, we propose
R-4B, an auto-thinking MLLM, which can adaptively decide when to think based on
problem complexity. The central idea of R-4B is to empower the model with both
thinking and non-thinking capabilities using bi-mode annealing, and apply
Bi-mode Policy Optimization~(BPO) to improve the model's accuracy in
determining whether to activate the thinking process. Specifically, we first
train the model on a carefully curated dataset spanning various topics, which
contains samples from both thinking and non-thinking modes. Then it undergoes a
second phase of training under an improved GRPO framework, where the policy
model is forced to generate responses from both modes for each input query.
Experimental results show that R-4B achieves state-of-the-art performance
across 25 challenging benchmarks. It outperforms Qwen2.5-VL-7B in most tasks
and achieves performance comparable to larger models such as
Kimi-VL-A3B-Thinking-2506 (16B) on reasoning-intensive benchmarks with lower
computational cost.
Ссылки и действия
Дополнительные ресурсы: