LLMs are Single-threaded Reasoners: Demystifying the Working Mechanism of Soft Thinking

## КОНТЕКСТ И ПРОБЛЕМАТИКА Человеческое мышление приспособлено к работе с абстрактными и гибкими понятиями, однако современные модели резонного мышления часто ограничены генерацией дискретных токенов, что может ограничивать их выразительные возможности. В последнее время было предпринято много усилий по расширению возможностей больших языковых моделей (LLMs) за счет использования мягких, абстрактных токенов, что позволяет проводить резонирование в непрерывном пространстве концепций. Это подход, известный как "Soft Thinking", обещает расширить возможности LLMs в решении сложных задач резонации. Однако, несмотря на потенциал Soft Thinking, существуют недостатки в том, как LLMs используют мягкие токены. Многие модели, как показывают последние исследования, предпочитают использовать наиболее влиятельные компоненты мягких входных данных во время процесса декодирования, что ограничивает возможность освещения различных путей резонации. Это приводит к тому, что Soft Thinking сводится к жадному декодированию, что снижает преимущества передачи более широкой информации через мягкие токены. В данной работе авторы проводят подробный анализ внутреннего поведения LLMs при использовании Soft Thinking, используя различные методы пробингования. Они показывают, что, несмотря на ожидание, что Soft Thinking может позволить моделям одновременно исследовать различные пути резонации, в действительности модели склонны к упрощенному подходу, который не позволяет полностью реализовать потенциал этого подхода. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения ограничений ванильного подхода Soft Thinking, авторы предлагают ввести элементы случайности в процесс декодирования. Они используют два метода: Dirichlet resampling и Gumbel-Softmax trick. Эти методы позволяют ввести случайность в процесс генерации токенов, что помогает моделям исследовать более широкий набор вариантов резонации. Dirichlet resampling позволяет создавать распределения случайных весов для мягких токенов, в то время как Gumbel-Softmax trick предоставляет более контролируемый способ введения случайности с гладким переходом между дискретным и непрерывным пространством. Эти методы позволяют моделям расширить свои возможности в исследовании различных путей резонации, что приводит к лучшим результатам в задачах, требующих сложного мышления. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы проводят ряд экспериментов на базе восьми различных резонирующих задач, чтобы оценить эффективность предложенных методов. Результаты показывают, что использование случайности в процессе декодирования значительно повышает производительность моделей. В частности, Gumbel-Softmax trick демонстрирует наилучшие результаты, обеспечивая достаточную степень случайности и гладкость перехода между режимами. Исследования показывают, что внедрение случайности позволяет моделям лучше использовать потенциал мягких токенов, что приводит к значительному улучшению результатов в резонирующих задачах. Эти результаты подтверждают, что случайность может быть ключевым фактором для расширения возможностей LLMs в резонации. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный подход имеет широкие практические применения в областях, требующих сложного резонативного мышления, таких как научное исследование, клиническая диагностика и сложные задачи принятия решений. Использование мягких токенов с введением случайности позволяет улучшить качество и точность решений, что делает этот подход привлекательным для реального мира. Кроме того, этот подход может быть использован в областях, требующих гибкости и адаптивности, таких как робототехника и автономные системы. Преимущества этого подхода заключаются в том, что он позволяет моделям более эффективно использовать информацию и исследовать различные пути резонации, что может привести к более творческим и точным решениям. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В целом, данное исследование показывает, что Soft Thinking может быть значительно улучшено за счет введения случайности в процесс декодирования. Использование методов таких как Gumbel-Softmax trick позволяет расширить возможности LLMs в резонации, что делает этот подход более эффективным в решении сложных задач. В будущем, дальнейшие исследования могут фокусироваться на разработке более эффективных способов введения случайности, а также на исследовании других методов для улучшения Soft Thinking. Это может привести к более широкому применению этого подхода в различных областях, где требуется сложное и гибкое мышление.