STAS: Spatio-Temporal Adaptive Computation Time for Spiking Transformers

## Контекст На протяжении последних десятилетий, специально разработанные спикерные нейронные сети (Spiking Neural Networks, SNNs) приобрели важное место в искусственном интеллекте благодаря их энергоэффективности по сравнению с артифициальными нейронными сетями (ANNs). Однако они страдают от высокой задержки и значительного вычислительного накладного расхода, порождаемого своей многоэтапной работой. Несмотря на то, что различные методы динамического вычисления были предложены для уменьшения задержек и расхода, некоторые из них остались неустойчивыми в различных условиях работы. В то же время, статические архитектуры динамического вычисления, несмотря на их потенциал, не могут решить проблему. Кроме того, применение подхода с адаптивным вычислительным временем (Adaptive Computation Time, ACT) к спикерным видюхам-трансформерам (Vision Transformers, ViTs) сталкивается с двумя главными проблемами: нарушением предварительного условия изоморфного времени и статической архитектурой, не приспособленной к этим принципам. STAS (Spatio-Temporal Adaptive computation time for Spiking Transformers) предлагается как решение этих проблем, сочетая статическую архитектуру с динамическим вычислительным политикой. ## Метод STAS предлагает интегрированный модуль разделения волновых патчей (Integrated Spike Patch Splitting, I-SPS), который устанавливает темпоральную стабильность за счет создания единой постановки входных данных. Эта стабильность в свою очередь позволяет использовать адаптивный спикерный самоприслушивающийся модуль (Adaptive Spiking Self-Attention, A-SSA), который выполняет приемущество в двухмерной оптимизации токенов по пространственному и временному осям. Эта гибкость в вычислениях позволяет сократить затраты на вычислительные ресурсы без потери точности. Метод STAS был реализован в различных спикерных трансформерных архитектурах и проверен на таких датасетах, как CIFAR-10, CIFAR-100 и ImageNet. ## Результаты Эксперименты показали, что STAS существенно уменьшает энергозатраты в сравнении с состоянием технологии (SOTA), сокращая ее на 45.9% на CIFAR-10, 43.8% на CIFAR-100 и 30.1% на ImageNet. Это улучшение сочетается с повышением точности распознавания изображений. Таким образом, STAS демонстрирует ключевое преимущество в сочетании эффективности и точности, что делает его привлекательным для применения в спикерных сетях. ## Значимость Помимо энергоэффективности, STAS имеет широкие перспективы применения в задачах визуального распознавания, передачи речи, обработки естественного языка и других областях, где энергоэффективность и высокая точность играют ключевую роль. Благодаря своему универсальному подходу, STAS может быть успешно использован в раз