CHBench: A Cognitive Hierarchy Benchmark for Evaluating Strategic Reasoning Capability of LLMs

## Контекст Стратегическое разумение является ключевым аспектом искусственного разума, определяющим успешность взаимодействия роботов с окружающим миром. Оценивать этот аспект чрезвычайно сложно, так как существующие методы часто основываются на метриках эффективности, которые оказываются недостаточно надежными из-за разнообразия поведенческих моделей противников и структур игр. Недостаток универсальных методов по evaluation стратегического разума значительно ограничивает возможности интеллектуальных систем внедряться в реальные приложения. Для решения этой проблемы, мы предлагаем **CHBench** — новый фреймворк для оценки стратегического разума, основанный на моделях когнитивного хиерархии, известных из экономической теории. Наша гипотеза заключается в том, что агенты имеют ограниченное разумение, то есть различные агенты применяют разные уровни рациональности в своих решениях. ## Метод CHBench представляет собой трехфазную систематическую модель для оценки стратегического разума. В первой фазе мы выбираем 15 нормальных игр, структура которых позволяет выявить различные уровни стратегического разума. Во второй фазе, мы используем данные из шести современных глубоких нейронных сетей (LLMs), обученных различным типам задач, чтобы получить многообразие стратегических моделей. Затем, в третьей фазе, мы применяем эти модели для систематического тестирования поведения LLMs в разных ситуациях. Использование этой модели позволяет установить не только качество поведения LLMs, но и выявить влияние различных механизмов (например, чат-функции и памяти) на их стратегическое решающие способности. ## Результаты Мы провели эксперименты, используя CHBench для оценки шести современных LLMs в 15 играх. Результаты показали, что LLMs показывают схожую стратегическую работу в разных ситуациях, что confirmeaza логику фреймворка. Мы также провели эксперименты, которые показали, что Chat Mechanism сильно затрудняет стратегическое разумение, но Memory Mechanism улучшает его. Эти результаты подтверждают, что CHBench представляет собой надежный инструмент для оценки стратегического разума LLMs, с возможностью применения в различных прикладных задачах. ## Значимость CHBench может быть применен в различных прикладных областях, включая разработку и оценку стратегических алгоритмов, ботов для игр, систем управления и даже в сфере роботов-консультантов. Он предлагает новый подход к оценке стратегии, который не зависит от конкретных метрик эффективности. Это позволяет оценивать стратегическое разумение llms с более широким перспективным взглядом, с учетом разных моделей рациональности. Мы так