FlagEval Findings Report: A Preliminary Evaluation of Large Reasoning Models on Automatically Verifiable Textual and Visual Questions

## Контекст Оценка возможностей текущих бо LARGE REASONING MODELS (LRMs) в области рационального анализа текстовых и визуальных данных приобрела важное значение в связи с развитием ИИ. Несмотря на прогресс в области обработки естественного языка (NLP), существуют проблемы с проверяемостью и точностью результатов, особенно в сценариях, требующих визуального рассуждения. Недостаток структурированных тестовых баз данных и методов экспериментальной оценки не позволяет значительно продвинуться в сфере логического и визуального изучения. Данная работа предлагает контекст для последующей оценки и развития моделей, а также для продвижения инноваций в этой области. ## Метод Работа проводилась в два этапа. Сначала были выбраны популярные модели логического анализа для проведения экспериментов. Затем с помощью ROME (RObust Multimodal Evaluation) был проведен непосредственный тестирований моделей на рассуждение из визуальных и текстовых источников. Метод ROME основывается на систематических сценариях, чтобы избежать дискрипантов в результатах и обеспечить прозрачность в разборе. Таким образом, была создана возможность открытого доступа к данным, которая позволит дальнейшим исследователям продолжать эти работы. ## Результаты Эксперименты показали, что хотя LRMs демонстрируют высокий уровень эффективности в текстовых задачах, их производительность во визуальных задачах остается ограниченной. Например, модели, использующие ROME, показывали проблемы с определением контекста и визуальных сигналов, а также с выводом логических выводов. Несмотря на это, результаты показывают потенциал для улучшения, особенно в сценариях, где визуальное рассуждение является приоритетным. ## Значимость Результаты имеют значимые последствия для областей, в которых необходимы точный логический анализ и визуальное рассуждение, такие как медицина, юриспруденция и технологии. Также, открытый доступ к ROME и данным экспериментов позволяет другим исследователям продолжить эту работу, что может привести к развитию новых моделей и методов. Это выделяет важность данных исследований для улучшения общей функциональности моделей. ## Выводы Работа представляет собой первый шаг к созданию структурированных баз данных и методов экспериментального тестирования в области визуального и логического рассуждения. Она подтверждает необходимость дальнейшего исследования в этой области для достижения более высокой точности и прозрачности в логическом анализе. Будущие исследования будут сконцентрированы на улучшении моделей и развитии новых сценариев для уточнения их производительности.