Confidence-Weighted Token Set Cover for Early Hypothesis Pruning in Self-Consistency

Многие задачи в области современного AI, такие как рассуждения по цепочке мыслей (chain-of-thought reasoning), требуют выделения большого числа токенов, что делает их применение в реальной жизни трудоемким. Одним из таких методов является self-consistency, который, несмотря на свою эффективность, требует значительных вычислительных ресурсов. В статье предлагается новый подход, называемый Confidence-Weighted Token Set Cover, для эффективного уменьшения необходимого числа токенов посредством раннего отбраковки ненужных гипотез. Решение основывается на двух простых признаках: достоверности модели в отношении гипотез и лексическом покрытии всех гипотез доступных вариантов. Авторы предлагают алгоритм, похожий на весовый метод покрытия множеств, который оптимально использует эти признаки. На пяти моделях глубокого обучения и трем бенчмаркам по математике показано, что предложенный подход улучшает эффективность использования токенов на 10–35% в многих случаях. Это демонстрирует перспективу применения нового метода в реальных задачах, где необходимо оптимизировать затраты на токены.