Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models

## Контекст В последние годы текстовое понимание стало одной из основных областей искусственного интеллекта, с предложением различных моделей, таких как трансформеры, GPT и другие. Одним из новых направлений является развитие **diffusion large language models (dLLMs)**, которые основываются на методе размывания (diffusion) для генерации текста. Несмотря на прогрессы в этой области, существуют проблемы с точностью и стабильностью генерации. Например, существуют ситуации, когда модель в процессе постепенного улучшения ответа (denoising) перезаписывает правильный ответ на неправильный, из-за чего в итоге может быть получен неверный результат. Эта проблема известна как **temporal oscillation**. Цель нашего исследования заключается в изучении и использовании временных динамик в dLLMs для улучшения точности и стабильности генерируемого текста. ## Метод В нашем методе используются две основные компоненты: **Temporal Self-Consistency Voting** и **Temporal Consistency Reinforcement**. 1. **Temporal Self-Consistency Voting**: Это стратегия тестового времени, которая использует все промежуточные генерации модели в процессе размывания для голосования за наиболее вероятный ответ. Оно не требует дополнительных тренировочных данных и позволяет определить самый стабильный ответ в процессе работы модели. 2. **Temporal Consistency Reinforcement**: Это пост-тренировочный подход, который использует **Temporal Semantic Entropy (TSE)** — меру степени стабильности семантического содержания промежуточных генераций. Наша модель получает реWARD на основе этой меры, что позволяет ей сфокусироваться на более стабильных и точных результатах. Основной идеей заключается в том, что в промежуточных шагах размывания модели dLLM может давать правильный ответ, но позже этот ответ перезаписывается. Мы используем эти промежуточные генерации для улучшения конечного результата. ## Результаты Мы проверили нашу модель на нескольких бенчмарк-датасетах, включая GSM8K, MATH500, SVAMP и Countdown. Использовались предобученные модели dLLM, в том числе Llama-2. Наш подход показал существенные улучшения в точности: - **Средний прирост точности** на Countdown: 24.7% при использовании только TSE-реWARD. - **Абсолютные приросты точности** на других бенчмарк-датасетах: - GSM8K: +2.0% - MATH500: +4.3% - SVAMP: +6.6% - Countdown: +25.3% Эти результаты показывают, что наш подход эффективно использует временные динамики dLLM для улучшения результатов. ## Значимость Мы открыли новый подход к использованию временных динамик в dLLMs, который может применяться в различных областях, таких как: - Автоматизация процессов решения математических задач (например, для учебных целей). - Генерация текста в реальном времени, где необходима высокая точность и стабильность