CCFQA: A Benchmark for Cross-Lingual and Cross-Modal Speech and Text Factuality Evaluation

#### Контекст Современные Multimodal Large Language Models (MLLMs) становятся все более популярными в многоязычном мире, но обеспечение надежности и точности их ответов, особенно при обработке многоязычных входных данных, является ключевой проблемой. Несмотря на то, что существуют бенчмарки для оценки фактичности ответов, они, как правило, фокусируются лишь на английском языке, ограничиваясь текстовыми или визуальными модальностями. Это создает значительную проблему при оценке моделей, которые должны обрабатывать многоязычные спеech-запросы. Наша мотивация заключается в разработке бенчмарка, который не только охватит многоязычность, но и позволит оценивать модели по комбинированным модальностям текста и речи. #### Метод Мы предлагаем CCFQA (Cross-Lingual and Cross-Modal Factuality Evaluation Benchmark), который включает параллельные текстовые и речевые фактические вопросы на 8 языках. Бенчмарк разработан с целью оценивать модели по своей способности кросс-языковой и кросс-модальной оценке фактичности. Мы использовали рекуррентные нейронные сети (RNN) для обработки речи и LSTM для работы с текстом, чтобы обеспечить многоязычную обработку. Кроме того, мы внедрили многомодальные методы для объединения сигналов речи и текста. #### Результаты Мы провели эксперименты с несколькими MLLMs, включая модели с разным количеством слоев и размеров файлов. Были оценены значимость и точность ответов на CCFQA-benchmark. Наши результаты показывают, что текущие модели все еще сталкиваются с значительными вызовами в области кросс-языковой и кросс-модальной фактичности. Мы также проверили нашу стратегию few-shot transfer learning, которая эффективно передает QA-способности моделей на многоязычные Spoken Question Answering (SQA) задачи, достигнув почти одинаковой точности с GPT-4-mini-Audio при использовании только 5-шаговой обучения. #### Значимость CCFQA может быть применен в различных областях, таких как здравоохранение, образование, интеллектуальные системы, где необходима надежная обработка кросс-языковых и кросс-модальных спеech-запросов. У него есть несколько преимуществ, таких как систематическая оценка, переносимость моделей, и поддержка нескольких языков. Мы видим в потенциале CCFQA возможность способствовать развитию MLLMs с более надежными и релационными способностями. #### Выводы Мы представили CCFQA, первый бенчмарк для кросс-языковой и кросс-модальной оценки фактичности. Наши результаты показали, что текущие модели все еще сталкиваются с значительными вызовами в области кросс-языковой и кросс-модальной фактичности. Мы также предложили эффективную стратегию few-shot transfer learning, которая может быть использова