SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention

#### Контекст В Diffusion Transformer (DiT) моделях, особенно при генерации видео, время обработки внимания (attention latency) является критическим ограничением из-за длинных последовательностей и квадратичной сложности. Это приводит к значительным затратам ресурсов на вычисления. Однако наблюдение, что внимание может быть разделено на две части — с характеристикой высокой и низкой ранга, подсказывает возможность применения специальных стратегий ускорения. Это мотивирует разработку эффективных методов, уменьшающих затраты на вычисления без ущерба для качества. #### Метод Мы предлагаем Sparse-Linear Attention (SLA), метод, который сочетает в себе спарсное и линейное внимание. SLA классифицирует веса внимания на три группы: критические, маргинальные и незначительные. Для критических весов применяется полное внимание (O(N^2)), для маргинальных — уменьшенное (O(N)), а незначительные пропускаются. Мы реализовали персистентную классификацию весов в процессе обучения, что позволяет оптимизировать вычисления. Благодаря интеграции всех этих операций в один GPU-ядро и поддержке обратного прохода, SLA достигает высокой эффективности. Этот подход легко поддается оптимизации в уже обученных моделях с минимальным количеством файн-тюнинга. #### Результаты Мы провели эксперименты на видеогенерации с DiT моделями Wan2.1-1.3B. SLA позволила сократить вычислительные затраты на внимание в 95% при сохранении качества генерации. Это дало значительный ускорение — 13.7x в скорости вычисления внимания и 2.2x в общем времени генерации видео. Наши результаты показывают, что SLA дает значительное ускорение, опережая базовые методы в эффективности. #### Значимость Метод SLA может быть применен в различных областях, где используются Diffusion Transformer модели, таких как видеогенерация, трансляция и музыкальное создание. Он обеспечивает значительное ускорение без ущерба качеству и может быть эффективно интегрирован в существующие рабочие процессы. Это решение не только улучшает производительность, но и позволяет обрабатывать более длинные последовательности, расширяя возможности приложений. #### Выводы Мы представили SLA, новый метод ускорения Diffusion Transformer моделей, который эффективно разделяет внимание на критические, маргинальные и незначительные весы, применяя соответствующие ускорения. Этот подход позволяет значительно уменьшить время вычислений, при этом сохраняя качество генерации. Наше исследование открывает новые пути для будущих исследований в направлении эффективности и ускорения глубоких моделей видеогенерации.