Research on Multi-hop Inference Optimization of LLM Based on MQUAKE Framework

#################### ## Контекст #################### Общий контекст работы связан с проблематикой точного ответа на комплексные вопросы с использованием Large Language Models (LLMs). Несмотря на развитие технологий обработки естественного языка, ответ на вопросы, требующие нескольких этапов логического рассуждения, до сих пор остается сложной задачей. Эта проблема мотивирует разработку эффективных методов для разбиения комплексных вопросов на более простые подзадачи. Эта инициатива в рамках MQUAKE-фреймворка становится решением проблемы не только для декомпозиции вопросов, но и для улучшения LLM-моделей в области логического мышления. Задача такого разделения включает в себя не только оптимизацию процесса ответа, но и повышение точности моделей при работе с различными типами данных. #################### ## Метод #################### В этой работе используется методология MQUAKE, которая предлагает разделение вопросов на несколько логических шагов (многохопное декомпозирование). Для оценки эффективности этого подхода используется модель LLAMA3. Для экспериментов применяется датасет MQUAKE-T, который разделяется на две части: одна для декомпозиционного подхода, другая — для прямого ответа на вопросы. Модель LLAMA3 дообучается (fine-tuning) с использованием метода LoRA (Low-Rank Adaptation) на этих датасетах. Это позволяет изучить влияние многохопного декомпозирования как до, так и после обучения модели. Таким образом, метод гарантирует понимание сложных вопросов и повышает точность ответа, обеспечивая структуру рассуждения. #################### ## Результаты #################### В экспериментах был проведен сравнительный анализ точности ответов на основе двух подходов: прямого ответа на комплексные вопросы и многохопного декомпозирования. Результаты показали, что перед дообучением модели LLAMA3, подход многохопного декомпозирования показывал значительное превосходство в предсказаниях. Однако, после дообучения с помощью метода LoRA, оба подхода показали улучшение, но многохопное декомпозирование сохранило свою выгоду. Эти результаты демонстрируют, что многохопное декомпозирование не только повышает качество предсказаний до обучения, но и позволяет более эффективно использовать модель после ее дообучения. #################### ## Значимость #################### Этот подход имеет широкие применения в области разработки интеллектуальных систем, а именно в помощных системах для точного ответа на вопросы, в обучении моделей глубокого обучения, а также в системах семантического поиска. Многохопное декомпозирование позволяет улучшить точность моделей, обеспечивая более глубокую и адекватную обработку текстов. Кроме того, полученные результаты могут быть использованы в разработке систем для автоматического обучения, чтобы повысить уровень