Beyond Autoregression: An Empirical Study of Diffusion Large Language Models for Code Generation

## Контекст Создание кода — важный аспект развития программного обеспечения, способствующий эффективности разработки и качеству конечных продуктов. Одним из ключевых подходов к автоматизации этого процесса являются генерирующие модели языков (LLMs). Основным подходом для LLMs в коде-генерации является авторегрессионная генерация, где модель генерирует токен за током в порядке слева направо. Однако эта модель имеет ограничения: она неэффективна в практических задачах и не учитывает нелинейный характер программирования, когда программист вносит изменения в результат непосредственно в процессе работы. Это приводит к потребности в развитии более гибких и эффективных подходов. В этом контексте набирают популярность различные альтернативные подходы, в том числе и diffusion LLMs. Эти модели предлагают возможность многотокеновой генерации и гибкого выбора порядка генерации, что может решить некоторые проблемы авторегрессионных моделей. Однако, несмотря на этот потенциал, есть недостаток в научных исследованиях, которые бы подробно изучили работу diffusion LLMs в контексте кодовой генерации. ## Метод Для получения подробных результатов, авторы провели эмпирическое исследование, используя 9 представительных моделей diffusion LLMs. Они проводили эксперименты на 4 различных наборах данных, которые широко применяются в задачах кодовой генерации. Эксперименты охватили различные аспекты эффективности и эффективности работы генерирующих моделей, включая производительность, качество результатов и конкретные факторы, которые могут способствовать или мешать эффективности моделей. Были проведены тесты на производительность в разных ситуациях, включая генерацию кода различных длин и работу с нелинейной структурой программ. ## Результаты Исследование определило, что diffusion LLMs примерно эквивалентны параллельным autoregressive LLMs в тех же размерах, но имеют значительные преимущества в контексте производительности и гибкости. Они показали лучшую длинную генерацию, что особо важно для сложных кодовых структур. Также было выявлено, что diffusion LLMs могут эффективнее работать с различными размерами данных, благодаря своей гибкости в порядке генерации. Были выявлены факторы, влияющие на то, насколько эффективны данные модели в контексте различных задач. ## Значимость Полученные результаты открывают новые горизонты в развитии LLMs для кодовой генерации. Главные преимущества diffusion LLMs заключаются в более высокой эффективности, гибкости и улучшении работы с длинными кодами. Эти модели могут быть применимы в различных областях, включая разработку систем автоматичес