Grounding Multilingual Multimodal LLMs With Cultural Knowledge

## Контекст В последние годы технологии многоязычных эллиптичных текстов (LLMs) постепенно вносят изменения в области искусственного интеллекта. Однако существуют заметные проблемы, особенно в сфере многомодальных моделей. Эти модели часто сталкиваются с трудностями при работе с редкими культурными сущностями, поскольку им недостаточно культурной информации для точного понимания и интерпретации. Это приводит к ошибкам в обработке информации в низкоресурсных языках и культурах, что снижает доверие к подобным системам. Причина этого заключается в том, что многие многомодальные модели обучаются на ограниченном количестве данных, которые часто не представляют собой полное или точное представление реального мира. Это особенно важно в контексте культурных сущностей, так как понимание культурных традиций, символов и терминов необходимо для точного интерпретирования ими модели. Мотивация для этого исследования лежит в том, чтобы улучшить модели таким образом, чтобы они могли более точно интерпретировать культурные сущности и работать эффективно в низкоресурсных средах. Это является ключевым шагом для создания более включающих и универсальных многомодальных систем. ## Метод Чтобы улучшить точность интерпретации культурных сущностей, авторы предлагают ввести систему, которая позволяет моделям более глубоко понимать культурные явления. Основной идеей является создание целых культурных знаний, которые машина могла бы использовать для понимания интерпретации редких культурных сущностей. В этой работе используется большой граф культурных данных, полученный из Wikidata. Этот граф позволяет собирать изображения, представляющие культурные сущности, а также генерировать синтетические данные для визуальных задач вопросов-ответов (VQA). Эти данные построены таким образом, чтобы включать различные культурные сущности из разных стран и языков. Основная методика состоит в использовании многоязычных данных для тренировки модели, что позволяет модели не только работать с визуальными данными, но и понимать текст в разных языках. Это позволяет модели добиться более широкого спектра интерпретаций, учитывая как визуальные, так и текстовые аспекты культурных сущностей. ## Результаты Для экспериментов использовались различные многоязычные базы данных, включая данные из Wikidata и синтетические данные VQA. Эксперименты показали, что модель, обученная на этих данных, показала значительные улучшения в понимании культурных сущностей по сравнению с предыдущими моделями. В частности, модель существенно улучшила свои резуль