Crisp Attention: Regularizing Transformers via Structured Sparsity

#### Контекст Transformer-модели, основанные на механизме самоп paяжд внимания (self-attention), стали важной компонентой современных NLP-задач, опередив другие модели нейронных сетей в своей области. Однако, эти модели имеют серьезные ограничения в своей скорости обработки и экономии ресурсов из-за высокой вычислительной сложности, особенно в больших моделях. Одним из основных способов улучшения эффективности является регуляризация скрытых параметров, которая может улучшить общую графическую модель. В частности, уменьшение спектральной сложности может улучшить вычислительную эффективность, но часто приводит к понижению модели. Существуют техники, например, удаление узких слоев или уменьшение количества слоёв, но они могут привести к снижению модели. Напротив, техника структурированной неструктурированности (structured sparsity) позволяет сохранить высокую точность модели при уменьшении вычислительных затрат. Наша работа стремится улучшить эффективность трансформерных моделей, не ухудшая их показатели точности, в частности, используя структурированную неструктурированность в атенционировании. #### Метод Мы применяем структурированную неструктурированность в процессе оптимизации модели DistilBERT с помощью техники градиентного оптимизатора. Это позволяет регулировать вклад каждого слоя в предсказания модели. Нам удалось реализовать структуру неструктурированности, которая позволяет уменьшить вычислительную сложность, не ухудшая точность модели. Мы получили отличные результаты в задаче классификации текстов (SST-2), где статистический метод структурированной неструктурированности позволил сократить вычислительные затраты и оптимизировать модель, при этом сохранив высокую точность. Мы также использовали техники пост-хот-спаринга (post-hoc sparsity) для достижения наилучших результатов. #### Результаты Мы провели эксперименты на задаче классификации текстов SST-2. Модель DistilBERT была оптимизирована с помощью структурированной неструктурированности. Эксперименты показали, что модель с 80% спарингом внимания (attention sparsity) поддерживает точность под 91,59%, что означает улучшение в 0,97% в сравнении с базовым моделированием. Мы также проверили эффективность на других задачах и наблюдали аналогичные результаты. Это показывает, что структурированная неструктурированность может быть полезной для различных задач в NLP. #### Значимость Наша работа показывает, что структурированная неструктурированность может использоваться не только для улучшения эффективности, но и для повышения точности машинного обучения. Мы доказали, что модель с 80% спарингом внимания может достичь лучшей