SATQuest: A Verifier for Logical Reasoning Evaluation and Reinforcement Fine-Tuning of LLMs

## Контекст Настоящие построители суть вопроса (LLMs) показали впечатляющие возможности в области общего логического рассуждения. Однако эти модели часто сталкиваются с трудностями при работе с более сложными задачами, которые требуют проработки многомерных подходов и разнообразных типов задач. Существующие инструменты для оценки и улучшения логических возможностей LLMs часто обладают ограниченной скоростью, ограниченной степенью управляемости или направленностью на конкретные задачи. Это приводит к недостаточной систематизации в систематическом анализе и реальном вкладе в прогресс моделей. Для решения этой проблемы, мы предлагаем SATQuest — инструмент, способный систематически оценивать и улучшать логические возможности LLMs, создавая задачи логического рассуждения на основе нормальной формы Конъюнктивного Нормального Вида (CNF). ## Метод SATQuest работает на основе технологии SAT-распараллеливания для генерации разнообразных задач логического рассуждения. Он структурирует эти задачи вокруг трех основных параметров: масштаб задачи, тип задачи и варианты формулировки вопросов. Генерация происходит с помощью SAT-модели, а проверка ответов осуществляется в реальном времени с использованием PySAT. Это позволяет SATQuest предоставлять контролируемые, систематически структурированные задачи, которые помогают минимизировать проблему запоминания и обеспечивают более глубокий взгляд на состояние логических возможностей моделей. Данная систематическая архитектура позволяет эффективно развивать и улучшать LLM с помощью переноса возможностей и рефинейма. ## Результаты Мы провели широкий анализ работы SATQuest на различных моделях логического рассуждения. Эксперименты показали, что LLMs часто страдают от проблем с распространением за пределы ограниченного диапазона форматов задач, в частности, было продемонстрировано, что модели страдают от небольшого масштаба и повторений в задачах, принятых в традиционных бенчмарках. Однако с помощью SATQuest, мы увидели значительные улучшения в целевых метриках логического рассуждения, включая улучшение во времени, в общем понимании и решении задач. Мы также продемонстрировали, что ретренировка модели с помощью SATQuest способствует улучшению логического понимания и гибкости в работе с разнообразными задачами. ## Значимость SATQuest широко применим в области оценки и улучшения логических моделей, включая проверку их логических возможностей, моделирование различных типов задач и тестирование моделей в разных форматах. Он предоставляет новые возможности для глубокой аналитики и оптимизации моделей логического рассуждения, что может повли