SEADialogues: A Multilingual Culturally Grounded Multi-turn Dialogue Dataset on Southeast Asian Languages

## Контекст Многие существующие диалоговые данные, используемые для обучения и тестирования лингвистических моделей, не учитывают культурных особенностей, которые характерны для настоящих гуманных бесед. Эти проблемы гуще просматриваются в регионах с большим количеством региональных языков и культурных отличий, где диалоги требуют особых усилий для точного понимания и генерации. Одним из таких регионов является Юго-Восточная Азия (SEA), где живут более 700 миллионов людей, и где широко распространены разные языки и культуры. Из-за отсутствия данных, отражающих эти культурные особенности, разработка диалоговых систем, которые могли бы близко отражать реальные беседы, становится затруднительной. Мы предлагаем SEADialogues, датасет, созданный с учетом культурных аспектов, который предназначен для обучения моделей, способных учитывать индивидуальность и культурные особенности бесед в Юго-Восточной Азии. ## Метод SEADialogues представляет собой датасет, состоящий из диалогов, которые включают в себя не только текст, но и информацию о персональности участников и двух культурных темах, отражающих реальность жизни в соответствующих языковых и культурных группах. Датасет содержит диалоги на 8 языках, из 6 различных стран, включая такие региональные языки, как Индонезский, Тагальский, Индонезийский-Малайский, Бурмесский, Тайский и Телугу. Датасет был собран с помощью пассивного сбора данных и активного сбора данных, где участники были подготовлены к предоставлению данных в соответствии с инструкциями. Данные были проверены на степь ошибок и целостность, учитывая культурные аспекты. Для улучшения текстовых данных, мы также использовали методы машинного обучения для генерации диалогов, которые могут быть использованы для повышения точности и подробности диалогов. ## Результаты В результате сбора данных было создано более 11,000 диалогов с 17 участниками, которые были протестированы на юзабилити и качество. Мы получили следующие показатели: 1) на качество диалога в различных странах была достигнута значительная высокая точность в 85-90%, 2) диалоговые модели были оценены как близкие к реальным социальным беседам, 3) все диалоги были проверены на соответствие культурным аспектам Юго-Восточной Азии, чтобы обеспечить их культурную зрелость и значимость. Мы также выстроили сравнение с другими датасетом, чтобы продемонстрировать, насколько SEADialogues является более культурно грандиозны