MizanQA: Benchmarking Large Language Models on Moroccan Legal Question Answering

## Контекст В последние годы рост и развитие крупных языковых моделей (LLM) оказывают значительное влияние на область естественного общения (NLP). Однако эти модели часто сталкиваются с ограничениями при работе в специализированных доменах, таких как юридический, особенно в низкоресурсных языковых контекстах, таких как арабский. Особенностью данной сферы является не только техническая сложность, но также богатость лексических и юридических норм, которые часто отличаются от основных логик развитых моделей. Это приводит к явному недостатку в качественных данных и вызовам при использовании LLM в таких областях. В работе предлагается новый бенчмарк, **MizanQA**, который специально разработан для оценки LLM в области задач юридического вопроса и ответа (QA) на марокканском языке. Он получил название "Mizan" — значение этого слова в переводе с арабского — "весы", что символизирует честь и справедливость в судебных процессах. Бенчмарк учитывает богатый языковой и юридический контекст, включая традиционное марокканское право, а также влияние законодательства французского происхождения. Он состоит из более чем 1700 вопросов с несколькими вариантами ответов, что позволяет получать сложные решения в области юридического анализа. Этот бенчмарк представляет собой новый этап в развитии технологий NLP в целом и в юридической сфере в частности. ## Метод **MizanQA** отличается своим разнообразным подходом к сбору данных и методологии. Для создания данных использовались специальные юридические документы, законы, судебные решения и традиционные марокканские тексты. Ответы на вопросы были подготовлены специалистами в области юриспруденции, чтобы гарантировать точность и корректность. Методология основывается на создании многомерных задач, включающих не только сопоставление вопросов с ответами, но и выявление интерпретаций закона. Оценка была произведена с использованием нескольких моделей, включая многоязычные языковые модели и те, которые специально разработаны для арабского языка. Эти модели были проверены на возможности понимания специфических юридических терминов, контекстуальных смыслов и неоднозначных формулировок в законных текстах. ## Результаты Эксперименты показали, что даже самые продвинутые языковые модели стругаются с задачами, требующими глубокого юридического понимания и умения работать с текстами, характерными для марокканского законодательства. Например, модели, которые показали высокую производительность на глобальных задачах, снижались в производительности в случае локальных задач, относящихся к Марокко