GEAR: A General Evaluation Framework for Abductive Reasoning

## Контекст С появлением больших языковых моделей (LLMs), исследования фокусируются на инструкционном следовании и дедуктивном разумении. Однако остается вопрос: могут ли эти модели создавать новые знания, и как их эффективность можно оценить? Абдуктивное разумение, которое заключается в генерации плюральных и предположительных гипотез для объяснения наблюдений, предлагается как возможность для экспериментов с получением новых знаний. Однако оценка таких моделей остается нетривиальной, требующей прозрачных и автоматизированных методов. ## Метод Мы предлагаем GEAR (General Evaluation for Abductive Reasoning) - автоматизированную, технически независимую и масштабируемую фреймворк для оценки абдуктивного разумения. Фреймворк основывается на трех ключевых метриках: **последовательность (consistency)**, которая гарантирует, что каждая гипотеза объясняет наблюдения; **генерализуемость (generalizability)**, которая проверяет, предсказывают ли гипотезы значимые результаты на невидимых входных данных; и **разнообразие (diversity)**, которое требует, чтобы комплект гипотез включал различные возможные варианты и структуры решений. Фреймворк не требует ручной маркировки золотыми ответами, стабильный и открытый для развития, так как оценки улучшаются только при появлении новых релевантных предположений. ## Результаты Мы использовали GEAR для оценки девяти моделей БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ (LLMs) на четырёх тестах абдуктивного разумения, состоящих из 1,500 задач. Эксперименты породили более 50,000 гипотез и раскрыли отличия моделей, не видимые в традиционных оценках с золотыми ответами. Например, хотя некоторые модели показали высокую точность в ответах на задачи, они ограничивались решениями в пределах ограниченных структур, в то время как другие модели демонстрировали более разнообразные решения, позволяя повысить разнообразие и генерализуемость по результатам. ## Значимость GEAR предоставляет области применения в обучении моделей к широкому спектру задач абдуктивного разумения, включая здравословное вмешательство в выводы, синтез новых теорий и развитие творческих решений. Этот фреймворк позволяет избегать ограничений традиционных методов с золотыми ответами, позволяя моделям развиваться в течение времени. Благодаря ему модели могут получать новые и разнообразные знания, что является ключевым для развития интеллектуальных систем. ## Выводы GEAR предоставляет мощный и автоматизированный метод для оценки абдуктивного разумения, предоставляя новые тренировочные сигналы для моделей БОЛЬШИХ ЯЗЫКОВЫХ