Vision-G1: Towards General Vision Language Reasoning with Multi-Domain Data Curation

## Контекст Научные исследования в области визуального языкового рассуждения (Visual Language Reasoning, VLR) становятся все более важными в связи с потребностью в моделях, которые могут справляться с разнообразными задачами, включая математическое, логическое и интуитивное рассуждение. Однако существующие модели часто страдают от ограниченности в области применения и сложностях при обучении на многообразных данных. Дефицит качественных данных и сложности интеграции данных из различных доменов остаются значимыми проблемами. В этом контексте поставлена цель разработки обобщенной визуально-языковой модели, способной эффективно осуществлять рассуждения в различных областях. ## Метод Мы предлагаем новую архитектуру визуальной модели, названную Vision-G1, которая основывается на методе оптимизации посредством градиентов с использованием визуальных и языковых признаков. Алгоритм обучения включает многоуровневую итерационную стратегию, применяющую данные из 46 источников в 8 различных доменов. Для выбора высококачественных обучающих примеров используется метод определения влияния и фильтрации по сложности задачи. Модель обучается с использованием многоитерационного метода реактивного обучения (Reinforcement Learning, RL) с последовательным курсивным обучением (curriculum learning). Это позволяет модели стремительно улучшать свои визуально-языковые навыки в ходе обучения. ## Результаты Мы проводили эксперименты на нескольких визуально-языковых бенчмарках, включая данные из математических, логических и гуманитарных наук. Модель Vision-G1 показала выдающиеся результаты, превосходя свои собратьев менее чем по размеру (схожими по размеру моделями) и даже проприетарные модели, такие как GPT-4o и Gemini-1.5 Flash. Был достигнут состояние-искусства (state-of-the-art) в нескольких задачах, включая предсказание результатов и распознавание объектов на изображениях. Эти результаты демонстрируют значительную улучшенную универсальность и точность визуального рассуждения. ## Значимость Результаты модели Vision-G1 открывают новые возможности для областей, требующих рассуждений, в том числе автоматизированной оценки, интерактивных систем и систем поддержки решений. Модель демонстрирует преимущества в области общей визуальной и языковой работы, уменьшая необходимость в отдельных моделях для каждого домена. Ее мощь и гибкость делают ее оптимальным решением для будущих задач визуального и языкового рассуждения, в том числе в области искусственного интеллекта и робототехники. ## Выводы Мы представили Vision-G1, обобщенную визуально-языковую модель, оптимизирова