DPad: Efficient Diffusion Language Models with Suffix Dropout

#### Контекст Diffusion-based Large Language Models (dLLMs) широко применяются для текстового генерирования, позволяя распараллелить процесс генерации. Однако они сталкиваются с высоким компьютерным накладным расходом, так как осуществляют декодирование путем предсказания всех будущих токенов (суффиксов) в каждом шаге, в то время как только малая часть этих токенов используется в итоговом результате. Эта проблема становится особенно заметной при работе с длинными последовательностями текста, где производительность становится критично важной. На основе этой мотивации была создана статья DPad: Efficient Diffusion Language Models with Suffix Dropout, которая предлагает рациональное решение для улучшения производительности движков dLLMs без ущерба для точности. #### Метод Предлагаемый подход, **Diffusion Scratchpad (DPad)**, стремится улучшить эффективность систем dLLMs, оптимизируя модель аддитивной экспоненциальной модели (AEDM). DPad использует два основных механизма: **строго ограниченный слайдинг-окно (sliding window)** и **определяемый дистанцией-затухание (distance-decay dropout)**. Оба эти механизма гарантируют, что модель будет обрабатывать только ближайшие позиции в суффиксе, удаляя ненужную информацию. Это значительно упрощает вычислительную нагрузку и сохраняет высокую точность. Более того, DPad легко интегрируется в существующие оптимизации, такие как префикс-кэширование, и может быть реализована с помощью нескольких строк кода. #### Результаты Результаты показали, что DPad эффективно увеличивает скорость работы моделей dLLMs, достигая скоростного подъема до **61.4×** в сравнении с базовыми dLLMs, при этом сохраняя высокую точность результатов. Оценки проводились на таких бенчмарках как LLaDA-1.5 и Dream, используя модель LLaMA-2. Набор данных в этих экспериментах включал длинные тексты, что позволило доказать высокую эффективность DPad в условиях реальных задач. Эти результаты указывают на потенциал DPad для оптимизации dLLMs в сценариях с большим объемом данных. #### Значимость DPad может применяться в различных областях, где необходима производительная обработка данных, например, в генерации текста, разработке систем диалоговых систем и анализе больших текстовых данных. Основные преимущества DPad заключаются в улучшении производительности (уменьшение времени вычислений и ресурсоемкости), сохранение высокой точности и простоте внедрения благодаря небольшому количеству изменений в коде. Это может стать ключевым решением для эффективного использования ресурсов в масштабируемых моделях dLLMs. #### Выводы Успех DPad подтверждает возможность улучшения динамической производительности dLLMs, при этом сохра