Learnable Sampler Distillation for Discrete Diffusion Models

#### Контекст Discrete diffusion models (DDMs) представляют собой мощные методы для генерации данных в дискретных модальностях, таких как текст и молекулы. Однако их практическое применение существенно ограничено неэффективностью процесса семплирования, требующим большого числа шагов. За счет увеличения шага семплирования можно ускорить процесс, однако это приводит к серьезным проблемам в генерируемых данных. Такие проблемы включают ускорение суммарного ошибки декодирования из-за использования факторизованных предсказаний и увеличение дискретизационной ошибки в результате численных операций. Эти факторы существенно снижают качество семплирования. Данная проблема требует развития эффективных методов, позволяющих обеспечить высокое качество генерируемых данных при меньшем числе шагов семплирования. #### Метод Мы предлагаем **learnable sampler distillation (LSD)** — метод оптимизации скорости и качества семплирования в DDMs. LSD основывается на принципе классического метода дистилляции, где "ученик" (student) с меньшим числом шагов семплирования изучает шаг за шагом динамику "учителя" (teacher) с большим числом шагов. Для достижения этой цели мы вводим learnable sampler coefficients — адаптивные коэффициенты, которые динамически оптимизируются для точного алгоритмического синхронизации динамики семплирования ученика и учителя. Более того, мы предлагаем LSD+, который также оптимизирует временную схему (time schedule), распределяя шаги семплирования неравномерно для достижения более эффективного использования ресурсов. #### Результаты Мы провели эксперименты на различных задачах: генерации текстов, изображений и синтетических данных. Наши результаты показывают, что LSD и LSD+ значительно повышают качество семплирования DDMs, достигая результатов, которые превосходят существующие методы. Это достигается признаками, такими как более высокая точность, более высокое качество изображений и текстов, а также существенное сокращение числа шагов семплирования, необходимых для достижения исходного качества. Эти результаты доказывают эффективность LSD в решении проблемы неэффективности семплирования в DDMs. #### Значимость Предложенные методы LSD и LSD+ имеют широкие применения в области генерируемых данных, включая генерацию текста, генерацию изображений и молекулы. Они позволяют достигать высокого качества с меньшим числом шагов, что экономит ресурсы и ускоряет процессы семплирования. Эти достижения могут иметь большое значение для приложений, требующих быстрого и качественного генерирования данных, таких как генеративные модели текста, генерируемая графика и молекулярная сим