LAG: Logic-Augmented Generation from a Cartesian Perspective

## Контекст На сегодняшний день, большие языковые модели (LLMs) показали впечатляющие результаты в различных задачах, включая текстовую генерацию, перевод и ответы на вопросы. Однако они сталкиваются с существенными ограничениями в области знаний-интенсивных задач, в частности, склонностью к генерации неверных ответов (hallucinations) при работе с вопросами, требующими специального экспертного знания. Хотя существующие подходы, такие как Retrieval-Augmented Generation (RAG), пытаются улучшить это путем интеграции внешних источников знаний, они сталкиваются с проблемами при работе с задачами, требующими сложного логического применения. В этой работе авторы предлагают новую модель Logic-Augmented Generation (LAG), которая призвана решить эти проблемы, строясь на принципах картезианской методологии, описанных в «Дискурсе о методе». ## Метод LAG предлагает новую методологию логического аugmentation знаний, основанную на трех ключевых элементах: 1. **Декомпозиция вопросов**: LAG декомпозирует заданный вопрос на подзадачи (атомные подвопросы), которые расположены в логическом порядке. 2. **Зависимость между подвопросами**: каждый подвопрос разрешается на основе ответов на предыдущие, чтобы обеспечить последовательное и согласованное логическое разрешение. 3. **Терминация вывода**: LAG включает механизм остановки при разрешении подвопросов, когда логическая цепочка становится непродолжительной или задача становится неразрешимой, чтобы снизить затраты на вычисления. 4. **Синтез ответов**: после разрешения всех подвопросов, LAG собирает все ответы в единый логически корректный ответ. Технически, LAG использует модель LLMs с дополнительным контекстом в виде внешних данных, чтобы решать каждый подвопрос и следовать зависимостям. ## Результаты Эксперименты проводились на четырех бенчмарк-наборах данных, включая HotpotQA, LAMOL и другие. Результаты показали, что LAG значительно повышает устойчивость к ошибкам (robustness) и снижает риск генерации неверных ответов (hallucinations) по сравнению с RAG. LAG также улучшает логическую корректность и эффективность генерации ответов в сложных знаний-интенсивных задачах. ## Значимость Подход LAG имеет широкие применения в области знаний-интенсивных задач, включая ответы на вопросы, работу с специальными темами и интеллектуальные системы поддержки принятия решений. Он предлагает новый подход к логической организации знаний, уменьшая ошибки и улучшая взаимодействие с людьми. В будущем, модель LAG может быть расширена для областей, включая NLP-based clinical decision support и другие. ## Выводы Результаты