Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer

## Контекст Спайкинг Нейронные Сети (Spiking Neural Networks, SNNs) являются эффективным способом расчета, основанным на событиях, которые позволяют реализовывать высокоэффективные архитектуры трансформеров. Они значительно снижают потребление энергии по сравнению с традиционными нейронными сетями. Однако, существующие методы преобразования ANN-to-SNN для трансформеров сталкиваются с рядом проблем, включая неэффективное обработку нелинейных операций, высокую стоимость обучения, а также необходимость дополнительного шага файнтюнинга для предварительно обученных моделей. Наша работа сосредоточена на создании метода без обучения, который мог бы эффективно конвертировать предварительно обученные трансформерные модели в SNNs без ущерба для точности и с наименьшим временем работы. ## Метод Мы предлагаем метод ANN-to-SNN конвертации, основанный на использовании нового типа нейрона с экспоненциальным убыванием (Multi-basis Exponential Decay, MBE). Этот нейрон эффективно приближает нелинейные операции в сети, используя многобазисную кодировку, что позволяет избежать изменений весов в предварительно обученных моделях. Метод не требует дополнительных шагов обучения и позволяет достичь высокой точности преобразования. Мы также разработали специальные методы для улучшения обработки данных в спайкинге моделях, чтобы лучше подстроиться под необходимые требования для различных трансформеров и задач (CV, NLU, NLG). ## Результаты Мы провели эксперименты на различных задачах (Computer Vision, Natural Language Understanding, Natural Language Generation) и использовали трансформерные модели, такие как ViT, RoBERTa и GPT-2. Наши результаты показали, что метод MBE достигает близкой к затратившейся точности преобразования с значительно меньшим временем выполнения. Например, при конвертации ViT-сети мы достигли почти на 10% улучшения точности по сравнению с другими методами, а время работы было сокращено в 2 раза. Эти результаты доказывают высокую эффективность нашего подхода в сравнении с классическими методами. ## Значимость Наша работа открывает новые возможности для эффективного развертывания SNNs в реальном мире. Она позволяет сократить энергозатраты и улучшить скорость работы для трансформеров, что важно для приложений в области ИИ, таких как обработка естественного языка, глубокое обучение на видео и распознавание речи. Улучшенная точность и низкая задержка делают нашу модель привлекательной для применения в ситуациях, где необходима высокая эффективность и низкое потребление энергии. ## Выводы Мы представили новый метод конвертации ANN-to-SNN, который позволяет конвертировать предварительно обу