Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct

## Контекст Современные технологии генерации текстов являются ключевым решением для многих приложений в области искусственного интеллекта, включая поисковые системы, транскрипцию речи, автоматическое создание контента и интерактивные системы. Однако существуют серьезные проблемы, связанные с производительностью и качеством генерируемых текстов. Например, методы основанные на марковских моделях часто страдают от низкой скорости генерации и неэффективности в обработке больших данных. Другие подходы, такие как GPT-2, требуют огромных ресурсов и времени для обучения, что ограничивает их применение в реальном времени. Из этого вытекает необходимость в разработке быстрых и эффективных методов для генерации текстов, которые могли бы обеспечить высокое качество и мгновенную реакцию. ## Метод Метод DiDi-Instruct (Discrete Diffusion Divergence Instruct) представляет собой новую архитектуру, основанную на дискретной диффузии и инструктивном обучении. Основные идеи заключаются в инициализации модели с помощью предварительно обученной дискретной диффузионной модели (dLLM) и применении метода минимизации клеткового кросс-энтропийного расхождения (KL-divergence). Модель DiDi-Instruct использует групповую нормализацию награды, метод соответствия промежуточных состояний и семплер с опорой на награду (RGAS) для улучшения стабильности обучения, покрытия модели и производительности при интерпретации. Теоретический фреймворк основывается на минимизации интегрального расхождения KL, что позволяет обеспечить быструю и точную генерацию текстов. ## Результаты Эксперименты проводились на датасетосе OpenWebText. Модель DiDi-Instruct демонстрирует существенные преимущества по сравнению с другими методами. Например, она при 64-кратном ускорении показывает то же самое качество генерируемых текстов по отношению к данным GPT-2. Для 128 итераций диффузионного процесса DiDi-Instruct достигает значения perplexity 18.4, что значительно выше чем у других методов. Эти результаты достигнуты с минимальной потерей энтропии (менее 1%) и 20-кратно меньшим временем обучения. Также были проведены абляционные исследования, подтвердившее эффективность включенных техник, таких как групповая нормализация награды и RGAS. ## Значимость Метод DiDi-Instruct может быть применен в различных областях, где необходима быстрая генерация текстов, включая транскрипцию речи, синтез речи, генерацию контента и интерактивные системы. Он обеспечивает высокое качество текста с наименьшими затратами ресурсов и времени. Этот подход имеет перспективу в уско