Question Answering with LLMs and Learning from Answer Sets

## Контекст Высокопроизводительные языковые модели (LLMs) проявляют великолепные результаты в области понимания естественного языка, но часто сталкиваются с проблемами при выполнении задач, требующих коммонсенс-резонания. Например, в задачах рассказ-основной вопрос-ответ, где необходимо понимание смысла и умение применить логику, LLMs могут сталкиваться с неожиданными ошибками. Эта проблема обусловлена тем, что LLMs часто ориентируются только на контекст, без явного упорядоченного подхода к логической разметке предложений. Одним из подходов, предложенных для устранения этой проблемы, является использование символического рассуждения в сочетании с LLMs. Однако многие из существующих систем требуют ручной разработки символического компонента, что требует большого количества времени и усилий от экспертов. В нашем исследовании мы рассматриваем возможность автоматического вывода символических правил на основе примеров, чтобы улучшить точность и понятность решений в этой области. ## Метод Мы предлагаем LLM2LAS — гибридную систему, которая комбинирует сильные стороны LLMs, ILASP (Learning from Answer Sets) и ASP (Answer Set Programming). Вначале, LLM декодирует текст, извлекая семантические структуры из его компонентов. Затем, ILASP преобразовывает эти структуры в логические правила, на основе которых ASP-решатель может выполнять подробные выводы. ILASP использует методы обучения из примеров (Learning from Answer Sets) для автоматического создания и оптимизации символических правил. ASP, в свою очередь, обеспечивает жесткость и точность вывода, что позволяет LLM2LAS определять правильные ответы даже на новые, ранее невиденные вопросы. Эта система позволяет сочетать естественное понимание языка LLMs с логическими способностями ASP, улучшая решение задач в задачах рассказ-основной вопрос-ответ. ## Результаты Мы провели эксперименты, используя стандартный набор данных для задачи рассказ-основной вопрос-ответ. Наша система LLM2LAS показала высокую точность в тестах на новые вопросы, превосходя другие похожие системы, которые не используют символические правила. В частности, мы выявили, что LLM2LAS обеспечивает значительное улучшение в ситуациях, где выборка ответа не очевидна или требует нескольких шагов рассуждения. Эксперименты также показали, что наша система может адаптироваться к различным видам текстов и задач, улучшая общую точность и понятность ответов. ## Значимость LLM2LAS может быть применено в различных областях, где требуется объединение естественного понимания языка и логического рассуждения. Например, в области здравоохранения, маркетинга, интеллект