Few-Shot Prompting for Extractive Quranic QA with Instruction-Tuned LLMs

## Контекст Исследование посвящено развитию методов Extractive Question Answering (QA) на текстах Корана. Это задача является важной в свете уникальности языка Корана, который отличается сложной структурой, уникальным лексиконом и глубоким смысловым слоем. Несмотря на развитие технологий машинного обучения, эта область сталкивается с рядом проблем, включая недостаточную репрезентативность данных, сложность разбора специфического языка и необходимость точного понимания текста. Эти аспекты приводят к вызовам для создания эффективных моделей QA, которые могли бы обеспечить релевантные и точные ответы. Целью работы является разработка инновационных подходов, которые улучшат точность и качество ответов в условиях незначительного объема данных для обучения. ## Метод Работа предлагает два основных подхода к решению задачи Extractive QA на Коране. Первый подход основан на использовании предобученных моделей с инструкционным настройкой (instruction-tuning), включая модели Gemini и DeepSeek. Для решения задачи разработана специализированная программа для формирования арабских запросов в формате малого обучения (few-shot prompting). Для повышения точности ответов используется продвинутая система пост-обработки, включающая: - **Поддержание субструктурной алернтивативности** (subword alignment) для точного выделения ответов. - **Запрет перекрытия** (overlap suppression), чтобы избежать неточностей при выделении ответов. - **Семантическое фильтрование** (semantic filtering), чтобы удалить несоответствующие ответы. Эти методы позволяют улучшить качество ответов, уменьшив риск генерирования неточных или ложных сведений (hallucinations). ## Результаты Исследования проводятся на корпусе Корана, где применяются варианты описанных подходов. Оценка производится с помощью метрики pAP10 (Precision at 10), которая измеряет точность ответов в 10 вариантах. Наилучший результат демонстрирует модель с малоинвазивным настройкой (few-shot prompting) и пост-обработкой, достигающую pAP10 равного 0.637. Это значительно превосходит результаты моделей, обученных с помощью традиционных методов fine-tuning. Эксперименты показывают, что инструкционное настройко-обучение (instruction-tuning) с использованием арабских запросов эффективно для решения сложных задач QA на небольших объемах данных. ## Значимость Результаты имеют перспективу для применения в сферах, требующих понимания сложных текстов на малоизвестных языках. Из них могут получить выгоду разработчики моделей QA для риторических и социальных текстов, а также исследователи, работающие с неофициальными языками. Помимо того, этот подход демонстрирует выгоду использования небольших обучающих наборов для эффективного решения задач в усло