Investigating Bias: A Multilingual Pipeline for Generating, Solving, and Evaluating Math Problems with LLMs

## Контекст Государственный образовательный стандарт (ГОС) в Германии определяет критерии математического образования с детских садов до 10 классов. Однако существует недостаток систематизированных методик по разработке и оценке математических задач, особенно в многоязычной среде. Ларже Лангуедж Моделс (LLMs) становятся популярнее в области образовательной поддержки, но вариативность их результатов зависит от языка взаимодействия. Этот факт создает проблемы для глобализации образования и справедливости в доступе к инновационным технологиям. Наша исследовательская группа предлагает внедрить многоязычную автоматизированную систему для генерации, решения и оценки математических задач, которая станет доступной для разных языков и культур. ## Метод Мы разработали многоязычную систему для генерации, решения и оценки математических задач, ориентированную на критерии ГОС. Для этого мы создали 628 задач, используя методы конвертации текста на математические формулы, подходящие для обучения. Затем мы эти задачи перевели на английский, немецкий и арабский языки. Для каждого языка мы использовали три модели ЛЛМ (GPT-4o-mini, Gemini 2.5 Flash и Qwen-plus), чтобы генерировать шаговое решение задач. В качестве критерия качества решений мы привлекли третью сторону — ЛЛМ-оценщиков: Claude 3.5 Haiku. Эта модель сравнивала решения по всем трем языкам и оценивала их качество с учетом точности, грамотности и полноты. ## Результаты Лараже Лангуедж Моделы способны решать задачи на нескольких языках, но результаты показывают существенные различия в качестве решений. Английские решения постоянно получают высшие оценки от ЛЛМ-оценщиков, в то время как арабские решения часто являются самыми низкими в рейтинге. Эти результаты отражают явный языковый биас в текущих моделях, что подтверждает необходимость развития более справедливых многоязычных систем. ## Значимость Мы видим широкие возможности для применения нашей системы в области мультиязычного образования. Особенно актуальным является использование нашей системы в германском образовании. Она может помочь улучшить доступ к качественному образованию для говорящих на арабском и немецком языках. Более того, наша система может стать моделью для других стран, где широко используют многоязычные системы в образовательном контексте. Это может способствовать решению проблемы языкового биаса в технологиях и сделать образование более справедливым и доступным во всем мире. ## Выводы Мы успешно разрабо