Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter

#### Контекст Diffusion models являются перспективным классом генерирующих моделей, способных достигать современных результатов в задачах создания изображений, текста и других структур. Однако их высокая сложность вычислительной нагрузки, особенно в процессе инференции, остается значимой проблемой. Одним из ключевых факторов является то, что многие диффузионные модели требуют тысячи дискретизационных шагов для адекватного создания высококачественных генерируемых выходов. Это приводит к значительным требованиям к вычислительной мощности и времени процесса. Мы предлагаем Sig-DEG (Signature-based Differential Equation Generator) — новую технологию, которая способна ускорить инференцию диффузионных моделей без существенного потери качества. #### Метод Sig-DEG является подходом на основе теории подписи для точного аппроксимации решения стохастических дифференциальных уравнений (SDE), которые лежат в основе диффузионных моделей. Подход основывается на разделении процесса диффузии на меньшие интервалы, используя частичные подписи. Эти подписи эффективно суммируют характеристики Brownian motion на каждом отрезке. Для улучшения аппроксимации взято рекуррентное решение, позволяющее достичь точности на глобальном уровне. Метод представляет дистилляцию как задачу супервизированного обучения, где Sig-DEG прогнозирует выходы фине-резолюционной диффузионной модели на подготовленном коарсите шаге. Затем, при инференции, он использует частичные подписи для быстрого генерирования, избегая требований к точному симулированию Brownian paths. #### Результаты Мы проводили эксперименты с Sig-DEG на основе различных диффузионных моделей и данных. Результаты показали, что Sig-DEG может достигать высокого качества генерируемых выходов, сопоставимого с исходными диффузионными моделями. Однако он уменьшает количество дискретизационных шагов в разы. Это позволяет ощутимо улучшить скорость и эффективность инференции. Были проведены тесты на популярных датасетах, и результаты показали, что Sig-DEG значительно сокращает время работы, не ухудшая качество результатов. #### Значимость Предложенный метод может быть применен в различных областях, где требуется эффективное создание высококачественных изображений, звуков, текстов и других структур. Он открывает широкие возможности для ускорения инференции диффузионных моделей в реальном времени, что важно для приложений, таких как онлайн-генерация изображений, видеоинтерполяция и другие задачи, требующие высокой производительности. Мы также отмечаем, что Sig-DEG позволяет значительно экономить ресурсы, де