OptimalThinkingBench: Evaluating Over and Underthinking in LLMs

#### Контекст Современные языковые модели трансформеров (LLMs) отличаются по способности к "мышлению" — то есть, к эффективному решению сложных задач. Мышление в LLMs позволяет им решать задачи, требующие высокого уровня рационального анализа, но при этом может привести к "перерасчету" (overthinking) на простых задачах, что увеличивает время обработки и затраты ресурсов. Невзирая на это, невзвешенные (non-thinking) модели, которые эффективно решают простые задачи, часто не могут справиться с более сложными задачами, требующими мышления. Это сужает подходы к использованию LLMs, так как разработка отдельных моделей для "мышления" и "немышления" создает сложности для пользователя, который должен выбирать подходящую модель для каждого запроса. Наша мотивация заключается в разработке б BENCHMARK, который бы оценивал значение "мышления" для объединения этих двух подходов в одном решении. #### Метод Мы предлагаем **OptimalThinkingBench**, многомерный бенчмарк, который учитывает оба аспекта — overthinking и underthinking. Он состоит из двух подмножеств: OverthinkingBench, которое оценивает простоту задач в 72 различных областях, и UnderthinkingBench, которое детализирует 11 сложных задач, требующих мышления. В качестве метрик используются новые методы, измеряющие "thinking-adjusted accuracy", которые учитывают вклад логического мышления в эффективность решения задач. Мы проводим эксперименты с 33 моделями, включая обычные (non-thinking) и мышлющие (thinking) варианты, для оценки их поведения в различных ситуациях. #### Результаты Исследования показали, что ни одна из изучаемых моделей не получает оптимальные результаты во всех условиях нашего бенчмарка. Мышлющие модели часто "перерасчитывают" (overthink) простые задачи, выделяя немеренное количество ресурсов без улучшения результатов. Невзвешенные модели, в свою очередь, не в состоянии решить трудные задачи, требующие мышления. Мы также проверяли несколько методов для повышения "оптимального мышления", но обнаружили, что эти методы часто улучшают результаты только на одном из подмножеств, без обеспечения оптимального решения в целом. #### Значимость Наша работа может быть применена во многих областях, где требуется компромисс между производительностью и эффективностью — например, в образовательных системах, здравоохранении и системах рекомендаций. Она демонстрирует важность создания моделей, которые могут принимать оптимальные решения, не перерасходя ресурсы в ненужных ситуациях. Благодаря OptimalThinkingBench, разработчики могут работать над моделями, которые бы оптимально сбалансировали "мышление" и "немышление", чтобы повысить эффективность и экономику ресурсов. #### Выводы Мы показали, что с