MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints

## Контекст В статье "MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints" рассматривается проблема того, что Large Language Models (LLMs) часто имеют культурные базисы, полученные из тренировочных данных, где преобладают высокоресурсные языки, такие как английский и китайский. Это приводит к ограниченной точности при оценке языков с низким ресурсом и к нечесальному представлению культурных контекстов, особенно в контексте низкоресурсных языков. Для решения этой проблемы авторы предлагают MyCulture, новый бенчмарк, предназначенный для оценки LLMs на восприятии малайской культуры в шести областях: искусства, одежды, обычаи, развлечения, пища и религия, представленные на языке Бахаса Мелаю. Этот бенчмарк использует несколько новых подходов, включая открытые ответы в формате нескольких выборок без предварительно определенных вариантов ответов, чтобы избежать биаса, связанного с таким форматом. ## Метод Авторы разработали MyCulture, включающий шесть категорий культурных аспектов, каждая из которых содержит открытые вопросы с ответами в формате нескольких выборок. Методология включает описание подробной архитектуры, включающей не только технические решения, но и структуру вопросов, которая должна снизить влияние биаса формата. Метод также включает теоретическое обоснование, которое поддерживает эффективность открытого формата в повышении честности и отличительности моделей. Эталон охватывает как региональные, так и международные LLMs, чтобы проявить различия в понимании культуры. ## Результаты Результаты опробованы на различных региональных и международных LLMs. Было проанализировано, как эти модели справляются с оценкой шести различных культурных аспектов, которые были представлены в языке Бахаса Мелаю. Эксперименты показали, что существуют значительные различия в точности и честности моделей при обработке открытых ответов в сравнении с форматированными выходами. Также была проверена структурная биаса, сравнивая выводы моделей в структурированной форме и без структуры. ## Значимость Полученные результаты показывают, что MyCulture может быть применен в различных областях, включая культурные исследования, локализацию LLMs и развитие интеллектуальных систем, которые могут правильно оценивать индивидуальные культурные контексты. Этот исследовательский подход предоставляет более точное и честное представление культурных явлений и демонстрирует важность языковой и культурной включенности при развитии новых моделей языка. ## Выводы Выводы постоянной статьи могут сводяться