Lipschitz-Guided Design of Interpolation Schedules in Generative Models

## Контекст Генерируемые модели, основанные на потоках и диффузионных методах, широко используются для синтеза высококачественных данных, таких как изображения и звуки. Одной из ключевых задач в этой области является выбор подходящих интерполяционных расписаний, которые диктуют поведение модели в процессе синтеза. Этот выбор оказывает существенное влияние на качество генерируемых данных. Однако существующие подходы часто ориентированы на статистические характеристики, но не учитывают конкретные численные свойства результирующих полей диффузии. Это мотивирует разработку более гибких и эффективных методов, ориентированных на численность, для оптимизации расписаний. ## Метод Мы применяем метод разбиения интервала на сегменты для оптимизации интерполяционных расписаний в контексте стохастических моделей. Ключевым инструментом является минимизация нормы Lipschitzа, которая призвана уменьшить нестабильность численных решений. Мы предлагаем новую технику, позволяющую преобразовывать расписания в процессе инференции без необходимости переучивать модели. Эта техника основана на трансформации между различными классами расписаний, что оказывается эффективной для тестирования и реализации. Наш подход также расширен для работы с распределениями, отличными от нормального. ## Результаты Мы проверили наш подход на нескольких высокомерных моделях, включая стационарные распределения из уравнений Аллена-Чена и Навье-Стокса. Результаты показали, что наш алгоритм обеспечивает значительные улучшения в численных свойствах, таких как норма Lipschitzа и эффективность синтеза. Например, для распределений Гаусса наш подход демонстрирует экспоненциальное улучшение в Lipschitz-норме по сравнению с линейными расписаниями. Для распределений смеси Гауссов мы наблюдаем снижение режимового коллапса при малом числе шагов синтеза. ## Значимость Наш подход может применяться в различных областях, где требуется высококачественный синтез данных, такие как компьютерная графика, моделирование физических процессов и синтез звука. Он предоставляет значительные преимущества в скорости и качестве синтеза при минимальных изменениях модели. Это может повлиять на развитие глубокого обучения, особенно в задачах, требующих быстрого и качественного генерирования данных. ## Выводы Мы предложили новый метод для оптимизации интерполяционных расписаний в стохастических моделях, ориентированный на минимизацию Lipschitzа. Наши результаты показывают, что этот подход эффективен для улучшения качества и скорости синтеза данных. Мы также показали, что наш алгоритм может быть лег