Can Vision-Language Models Solve Visual Math Equations?

#### Контекст Область исследований, связанная с визуальными математическими задачами, широко распростронена в артифициальном интеллекте. Эта область включает в себя задачи, требующие объединения визуального понимания и символического вычисления. Одна из таких задач — решение визуальных математических уравнений, где нужно интерпретировать иконки, представляющие простые вещественные числа, а также выполнять арифметические вычисления. Хотя существуют модели, очень эффективны в решении текстовых уравнений, их производительность на визуальных эквивалентах остается низкой. Этот факт подчеркивает недостатки в способности моделей решать задачи, требующие интеграции визуального понимания с символическим рассуждением. Это влечет за собой ограничения в применении моделей к реальному миру, где такие задачи являются частью повседневных задач. #### Метод Для изучения этих ограничений визуально-языковых моделей (VLMs), авторы предлагают разделить задачу решения визуальных уравнений на две подзадачи: счет и распознавание. Затем, используя эти подзадачи, они выполняют ряд экспериментов с использованием визуальных уравнений, где коэффициенты должны быть вычислены с помощью счета изображенных в изображении объектов. Также, рассматривается роль точности распознавания в итоговую оценку. Для этих целей используются визуальные модели, которые были обучены на текстовых уравнениях, а затем проверяются на их визуальных аналогах. Эти эксперименты позволяют изучить различные аспекты производительности моделей и выявлять основные недостатки. #### Результаты В ходе экспериментов было выявлено, что модели VLMs имеют значительные проблемы с выполнением счета в визуальных уравнениях, даже когда распознавание объектов и их иконок производится с высокой точностью. Также, показано, что композиция распознавания и символического вычисления вводит дополнительные ошибки, что подтверждает трудности в многошаговом визуальном рассуждении. Кроме того, увеличение сложности уравнений приводит к еще большим ошибкам в рассуждениях, что ограничивает эффективность моделей. Эти результаты раскрывают основные ограничения нынешних моделей и указывают на необходимость улучшений в области визуального математического рассуждения. #### Значимость Результаты этих исследований имеют значительное значение для развития технологий, использующих визуальные и языковые модели. Они могут быть применены в области образовательных технологий, где необходимо решать визуальные задачи, а также в системах, которые должны выполнять а