Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees

## Контекст Discrete diffusion models (DDMs) стали одним из наиболее затронутых направлений в артифициальном интеллекте, особенно в контексте обработки естественного языка и структурных данных на графах. Основная причина их популярности заключается в том, что они позволяют эффективно обрабатывать дискретные структуры, что является ключевой задачей в большинстве приложений. Одной из главных сложностей в работе с DDMs является эффективность дискретных сэмплеров. Несмотря на то, что метод $\tau$-leaping оказался эффективным в практике, теоретические анализы этого метода часто ограничиваются довольно строгими и трудно проверяемыми предположениями. Более того, уже существующие гарантии сходимости для $\tau$-leaping содержат квадратичную зависимость от размера словаря, что делает их менее эффективными для больших дискретных пространств. В настоящей работе мы предлагаем новую аналитическую модель, которая устраняет необходимость таких ограничений и позволяет получить более точные результаты. ## Метод Мы предлагаем новую методологию для анализа дискретных диффузионных моделей, основанную на интерпретации этих моделей через дифференциальные неравенства. Этот подход отличается гибкостью и широкой применимостью, так как позволяет анализировать не только $\tau$-leaping, но и другие методы, такие как Euler's method и Tweedie $\tau$-leaping. Мы получили новые гарантии сходимости для $\tau$-leaping, которые зависят линейно от размера словаря, что значительно улучшает наилучшие до этого момента результаты. Наш подход также использует новую технику, основанную на конечном разностном стохастическом уравнении, которая может быть применена к анализу других стохастических процессов. ## Результаты Мы провели эксперименты на различных данных, включая естественный язык и графы. Наши результаты показывают, что $\tau$-leaping с новой техникой сходится быстрее и более точно, чем ранее. Также мы проверили эффективность других методов, таких как Euler и Tweedie, и показали, что их сходимость также теперь может быть гарантирована, что улучшает общую гибкость и надежность дискретных диффузионных моделей. ## Значимость Наша работа имеет значительные приложения в области естественного языка и графов, где эффективность дискретных сэмплеров является ключевой задачей. Мы улучшили теоретические гарантии для $\tau$-leaping, что делает его более гибким и эффективным для больших дискретных пространств. Наш подход также может быть применен для анализа других стохастических процессов, что расширяет его значимость за пределы DDMs. ## Выводы Мы представили новый аналитический подход к анализу дискр