Measuring Reasoning Utility in LLMs via Conditional Entropy Reduction

#### Контекст В последние годы широко распространены языковые модели с большим объемом параметров (LLMs), которые обладают высокой точностью в решении различных задач. Одним из ключевых аспектов этих моделей является использование разума, который позволяет улучшить точность решения. Тем не менее, существуют недостатки, связанные с оценкой того, насколько полезен каждый реализованный шаг в процессе разума. Статистическая природа авторегрессионного генерирования делает невозможным возврат к предыдущим решениям, что может привести к неточной оценке потенциально полезных шагов. Таким образом, возникает необходимость в методах, позволяющих определить полезность каждого шага в процессе разума, чтобы модель могла своевременно останавливаться или отбрасывать неэффективные шаги. #### Метод Для изучения этой проблемы мы применяем метод уменьшения неопределенности с помощью конденциональной энтропии. Мы используем модели Qwen2.5-32B и GPT-4o для генерации цепочек рассуждений, а затем модель Qwen3-8B для оценки полезности этих цепочек для окончательного решения. Мы измеряем неопределенность модели в отношении ответа (Y) в каждом шаге рассуждения с помощью уменьшения конденциональной энтропии, которая определяется как отношение между размерностью вероятности ответа и отношением вероятности между шагами. Это позволяет проверить, насколько шаги были полезными для получения точного ответа. #### Результаты Мы проводим эксперимент на датасете MATH, где мы измеряем уменьшение неопределенности в ответе на каждый шаг рассуждения. Мы выяснили, что уменьшение неопределенности над ответом при шагах рассуждения сильно связано с правильным ответом, в то время как неизменная неопределенность или ее увеличение указывают на неправильное решение. Мы также обнаружили, что неправильные рассуждения требуют большего количества шагов по сравнению с правильными, что подтверждает, что длительность рассуждений не является сигналом его качества. #### Значимость Наше исследование может иметь практическое значение в разработке более эффективных методов для оценки полезности рассуждений в языковых моделях. Эти методы могут быть применены в различных областях, таких как автоматизированная помощь в решении задач, улучшение систем поиска информации и оптимизация диалоговых систем. Если уменьшение неопределенности может быть использовано для выявления неэффективных рассуждений, это может привести к существенному повышению эффективности языковых моделей и их применений в практических системах. #### Выводы Мы установили, что уменьшение неопределенности в ответе на каж