Two-Stage Quranic QA via Ensemble Retrieval and Instruction-Tuned Answer Extraction

#### Контекст Quranic Question Answering (QQA) является особенно сложной областью исследований из-за языковых и семантических особенностей Классического Арабского языка, а также богатой семантики религиозных текстов. Традиционные подходы к задаче QQA сталкиваются с проблемами, такими как нехватка данных, сложность обработки текстов и низкая точность ответов. Эти проблемы особенно актуальны для задачи QQA, где необходимо выявлять и извлекать конкретные ответы на вопросы, основываясь на тексте Корана. Наша мотивация заключается в развитии эффективных фреймворков, которые могут усилить точность и общую производительность QQA-систем, используя современные модели языковых моделей и техники обучения. #### Метод Мы предлагаем двухступенчатый подход для решения задачи QQA. Во-первых, мы используем концепт ensembling для объединения нескольких моделей языкового понимания, настроенных на арабский язык, для процесса поиска и снятия сигналов (retrieval). Это позволяет повысить точность и разрешать проблемы, связанные с неточным пониманием текста. Во-вторых, мы применяем instruction-tuned large language models, которые обучаются с помощью малого количества обучающих примеров, для выполнения задачи извлечения ответов. Эта техника позволяет использовать модели с меньшим количеством данных для обучения и повысить точность ответа в условиях нехватки ресурсов. Таким образом, наш подход объединяет точность ensemblingа и гибкость instruction-tuningа для решения сложностей QQA. #### Результаты Мы провели эксперименты на Quran QA 2023 Shared Task, используя наши новшества. Для процесса поиска ответов (retrieval), наша модель энасембленинга работала с методом fine-tuningа на арабском языке, что позволило достичь следующих результатов: Mean Average Precision (MAP@10) = 0.3128, Mean Reciprocal Rank (MRR@10) = 0.5763. Для процесса извлечения ответов (extraction), использовав instruction-tuning, мы достигли Precision@10 (pAP@10) = 0.669. Эти результаты показывают, что наш подход был успешным в решении задачи QQA, превосходя предыдущие подходы по метрикам качества. #### Значимость Наше решение может быть применено в различных сферах, включая религиозное образование, теологию и программы, ориентированные на изучение религиозных текстов. Этот подход обладает рядом преимуществ: он эффективен в условиях малого количества тренировочных данных, повышает точность ответов, а также может быть реализован для других специальных областей, где задачи QQA требуются. Мы также видим возможности для будущих исследований в области улучшения моделей, использования различных текстовых ресурсов и расширения области применения нашего подхода. #### Выводы Наш двухступенчатый подход достиг существенных у