Enhancing compact convolutional transformers with super attention

## Контекст Современные модели конвейерных трансформеров становятся все более сложными, что негативно сказывается на их производительности и эффективности. Для решения этих проблем в статье предлагается модель, которая использует новый подход к токенизации и сжатию данных. Эта модель применяется в задачах с фиксированной длиной контекста, где традиционные модели часто сталкиваются с проблемами эффективности и точности. В частности, в тесте CIFAR100 модель показала существенное улучшение точности валидации по сравнению с базовыми моделями. Этот результат достигнут благодаря инновационной архитектуре, которая упрощает обучение и улучшает производительность. ## Метод Модель состоит из нескольких ключевых компонентов. Первый, **Tokenizer**, преобразует входные данные в токены с помощью полносвязного слоя. Второй, **Super Attention**, представляет собой усовершенствованный механизм внимания, который снижает объем вычислительных операций и упрощает обучение. Третий, **Sequence Pooling**, используется для сжатия последовательностей токенов, что позволяет эффективно обрабатывать длинные последовательности. Наконец, используется **Convolutional Tokenizer** для дополнительного сжатия токенов. Эта связка всех элементов позволяет модели достичь высокой точности с меньшим потреблением ресурсов. ## Результаты На тесте CIFAR100 модель показала существенное улучшение производительности. Точность валидации на 1% и 5% валидации растёт от 36.50% до 46.29% и от 66.33% до 76.31% соответственно. Это более эффективно, чем модель с Scaled Dot Product Attention (SDPA), которая работает медленнее и требует большего объема памяти при коротких контекстах. Модель также демонстрирует высокую стабильность при обучении и не требует дополнительных методов, таких как позиционные эмбеддинги или традиционная гиперпараметрическая оптимизация. Эти результаты подтверждают эффективность и универсальность нового подхода. ## Значимость Модель может быть применена в различных областях, включая обработку естественного языка, анализ изображений и видео. Высокая эффективность и упрощенная архитектура делают её привлекательной для сетей с ограниченными ресурсами. Благодаря своей простоте и точности модель подходит для использования в мобильных приложениях, малопроизводительных устройствах и контекстах с высоким уровнем сжатия данных. Это открывает новые возможности для развития ИИ на устройствах с ограниченным мощностным ресурсом. ## Выводы Результаты этого исследования открывают новые пути для развития моделей сжатых конвейерных трансформеров. Модель, описанная в статье, демонстрирует