MaRVL-QA: A Benchmark for Mathematical Reasoning over Visual Landscapes
2508.17180v1
cs.AI, cs.CV, cs.LG
2025-08-27
Авторы:
Nilay Pande, Sahiti Yerramilli, Jayant Sravan Tamarapalli, Rynaa Grover
Резюме на русском
## Контекст
Многомодальные большие языковые модели (МЛЛМ) показали ощутимый успех в области семантического описания изображений. Однако их возможности по глубокому математическому и пространственному рассуждению из изображений остаются практически неизученными. Этот фронтарный вопрос требует усилий по преодолению семантического шума и сосредоточения внимания на специализированных задачах. Математические сурфаце-плотсы представляют собой ключевую тестовую среду для такого рассуждения, так как они исключают семантический шум, присутствующий в натуральных изображениях. Однако их использование в качестве исследовательской площадки ограничивается отсутствием метрик для квантитативной оценки. Для закрытия этой лазурной дыры мы предлагаем MaRVL-QA (Mathematical Reasoning over Visual Landscapes), новую б benckmark, которая сосредотачивается на измерении глубины логического рассуждения на основе изображений.
## Метод
MaRVL-QA состоит из двух задач, которые требуют глубокой пространственной и математической логики: "Топологическое Числение" и "Трансформационное Различие". Задача "Топологическое Числение" включает в себя идентификацию и счет пространственных особенностей, таких как максимумы и минимумы. "Трансформационное Различие" отвечает за распознавание примененных геометрических трансформаций. Для построения б benckmark была создана библиотека функций с четкими требованиями к чистоте логики и минимальному уровню амбигуности. Эти функции были преобразованы в изображения с помощью генератора графиков, чтобы создать набор данных, сохраняющий логику, но требующий высокой степени профессионального зрения.
## Результаты
Мы провели эксперименты с MaRVL-QA с использованием нескольких современных МЛЛМ. Наши результаты показывают, что даже самые современные модели сталкиваются с значительными сложностями при выполнении этих задач. Они часто прибегают к грубым хормовцам, вместо того чтобы применять глубокое пространственное рассуждение. Это свидетельствует о недостатке в способности моделей к непосредственному выводу специализированных знаний из изображений. Наши результаты подчеркивают необходимость в развитии моделей с более глубокими возможностями пространственного рассуждения.
## Значимость
MaRVL-QA может использоваться в качестве инструмента для измерения прогресса в области математического рассуждения на основе изображений. Он позволяет открывать ограничения текущих моделей и определять направления для их улучшения. Бенчмарк также может способствовать развитию новых методов, которые будут иметь более г
Abstract
A key frontier for Multimodal Large Language Models (MLLMs) is the ability to
perform deep mathematical and spatial reasoning directly from images, moving
beyond their established success in semantic description. Mathematical surface
plots provide a rigorous testbed for this capability, as they isolate the task
of reasoning from the semantic noise common in natural images. To measure
progress on this frontier, we introduce MaRVL-QA (Mathematical Reasoning over
Visual Landscapes), a new benchmark designed to quantitatively evaluate these
core reasoning skills. The benchmark comprises two novel tasks: Topological
Counting, identifying and enumerating features like local maxima; and
Transformation Recognition, recognizing applied geometric transformations.
Generated from a curated library of functions with rigorous ambiguity
filtering, our evaluation on MaRVL-QA reveals that even state-of-the-art MLLMs
struggle significantly, often resorting to superficial heuristics instead of
robust spatial reasoning. MaRVL-QA provides a challenging new tool for the
research community to measure progress, expose model limitations, and guide the
development of MLLMs with more profound reasoning abilities.
Ссылки и действия
Дополнительные ресурсы: