DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers

## Контекст Transformer-подобные модели достигли революционных успехов в области обработки естественного языка, изображений, аудио и других задач. Однако их ключевым ограничением является высокое вычислительное время, которое пропорционально квадрату длины последовательности, что делает их сложновесомым для длинных входных секвенсов. Этот аспект ограничивает их применение в задачах, требующих обработки длинных контекстов. Для устранения этой проблемы было предложено несколько инновационных архитектур, но многие из них либо снижают точность, либо не достаточно эффективны. Об этой проблеме и попытке её решения идет речь в данной статье. ## Метод DTRNet (Dynamic Token Routing Network) предлагает новую архитектуру, которая использует динамическое маршрутирование токенов для сокращения вычислительных затрат. Главной идеей является то, что токены могут "пропускать" квадратичный скросс-миксинг с другими токенами, подвергаясь только линейному обновлению. Несмотря на это, каждый токен по-прежнему получает прямое обновление, что сохраняет точность. Архитектура включает в себя MLP-модуль для обновления токенов, а также уменьшает объём вычислений для самоп paуя распределяя токены между квадратичным и линейным обновлением. Это позволяет DTRNet эффективно обрабатывать длинные последовательности, сохраняя высокую точность. ## Результаты DTRNet была проверена на задачах обработки текста, включая генерацию текста и классификацию текста. Для экспериментов использовались данные из научных баз и реальных приложений. Результаты показали, что DTRNet достигает точности, соответствующей стандартным моделям Transformer, при этом уменьшая вычислительные затраты. На длинных последовательностях DTRNet показала существенное сокращение FLOPs, что делает её более эффективной для задач, требующих обработки длинных входов. Например, в текстовой генерации DTRNet снизила FLOPs на ~30%, при этом сохранив точность на уровне Transformer. ## Значимость DTRNet предлагает решение для проблемы высоких вычислительных затрат в трансформерах, которое может быть применено в различных областях, таких как глубокое обучение, NLP, речевые технологии и дальнейшее развитие AI. Её ключевое преимущество заключается в том, что она сочетает высокую точность с значительным сокращением вычислительных затрат. Это делает её привлекательной для использования в реальных приложениях, где необходимо быстро обрабатывать длинные входные данные. Будущие исследования могут сфокусироваться на улучшении метода маршрутизации, а также её применении в других областях, таких как видео- и аудио-процессинг. ## Выводы DTRNet представляет