mSCoRe: a $M$ultilingual and Scalable Benchmark for $S$kill-based $Co$mmonsense $Re$asoning

## Контекст Область исследования включает в себя изучение многоязычного коммонсенс-разума, который относится к возможности логического смысления и решения проблем в разных языковых и культурных контекстах. Несмотря на недавние успехи в развитии Reasoning-Reinforced Large Language Models (LLMs), способности этих моделей в области многоязычного коммонсенс-разума остаются мало изученными. Это приводит к проблемам в распознавании и применении гуманского знания о мире в разных языковых и культурных окружениях. Этот недостаток может сказаться на решении задач в значительной мере зависящих от культурного контекста. Наша мотивация заключается в разработке бенчмарка, который способен тестировать и анализировать многоязычные модели разума. ## Метод Мы предлагаем **MultiLingual and Scalable Benchmark for Skill-based Commonsense Reasoning (mSCoRe)**, основанный на трех основных компонентах: (1) **новая таксономия**, позволяющая детально проанализировать разные аспекты моделей разума, (2) **синтетическая пайплайн-данных**, специально разработанная для оценки коммонсенс-разума, и (3) **класса сложности**, который динамически меняет сложность задач в зависимости от развития моделей. Эти компоненты гарантируют точное и широкое тестирование моделей в многоязычном контексте. ## Результаты Были проведены эксперименты с восемью современными LLMs разного размера и обучаемости. Результаты показали, что даже самые продвинутые модели сталкиваются с трудностями при решении задач на высоком уровне сложности, особенно в области многоязычного коммонсенс-разума. Эти модели сталкиваются с проблемами в понимании тонкостей культурного контекста и сложных логических задач, которые требуют совершенствования. ## Значимость **mSCoRe** может применяться в различных областях, таких как развитие более сильных многоязычных моделей разума, улучшение систем перевода, создание интеллектуальных систем обработки естественного языка. Он предоставляет уникальные возможности для анализа моделей разума, помогая идентифицировать слабые места в их работе. Потенциальное влияние заключается в улучшении многоязычного понимания и возможности создания культурно ориентированных решений. ## Выводы **mSCoRe** подтвердило сложность многоязычного коммонсенс-разума и выявил узкие места существующих моделей. Будущие исследования будут сконцентрированы на улучшении моделей разума, ориентированных на многоязычность, и внедрении методов позволяющих лучше адаптировать модели к различным культурным окружениям.