Generalizable Geometric Image Caption Synthesis

#### Контекст Multimodal больших языковых моделей (МЛЛМ) широко применяются в решении различных задач, требующих сильных рассудочных способностей. Однако, несмотря на прогрессы в области МЛЛМ, они часто сталкиваются с проблемами при решении сложных геометрических задач. Это связано с отсутствием качественных данных в форме пар изображения-текст, которые могут помочь моделям разобраться с геометрическими концепциями. Также, многие существующие системы синтеза данных, основанные на шаблонах, не успешно справляются с задачами, выходящими за рамки предопределенных шаблонов. Данная работа нацелена на решение этих проблем с помощью внедрения процесса Reinforcement Learning with Verifiable Rewards (RLVR) в процесс синтеза данных. #### Метод Процесс синтеза данных в работе основывается на взаимодействии нескольких этапов. Вначале используется генерация изображений на основе 50 основных геометрических отношений. Затем, с помощью RLVR, система улучшает генерируемые текстовые описания, используя в качестве сигналов ре wards сигналы, полученные из задач решения геометрических проблем. Это позволяет модели распознавать ключевые особенности решения геометрических задач. Благодаря этому, модели не только улучшают свои результаты в задачах, схожих с обучающимися данными, но и способны решать нестандартные задачи вне обучающего множества. #### Результаты За счет внедрения RLVR в процесс синтеза данных, модели показали существенные улучшения в выполнении геометрических задач. Так, на данных MathVista и MathVerse, связанных с статистикой, арифметикой, алгеброй и числовыми задачами, улучшение достигло значений в пределах $2.8\%\text{-}4.8\%$. Также, для задач негеометричных (например, в области искусства, дизайна, техники и инженерии) на данных MMMU, модели показали улучшения в пределах $2.4\%\text{-}3.9\%$. Это свидетельствует о универсальности улучшений и их применимости к разным областям. #### Значимость Результаты этой работы могут быть применены во многих областях, таких как образование, промышленность и технические задачи. Особый потенциал имеет применение в области геометрии и технологий, где качество решения геометрических задач может существенно влиять на результаты. Кроме того, улучшенные возможности вывода и рассуждения модели могут быть использованы в разработке новых приложений, требующих сильных рассудочных способностей. #### Выводы Выводы данной работы сводятся к следующим моментам: внедрение RLVR в процесс синтеза данных значительно повышает качество решения геометрических задач, увеличивая генерализуемость уже готовых моделей. Это открывает