Hierarchical Resolution Transformers: A Wavelet-Inspired Architecture for Multi-Scale Language Understanding

## Контекст Трансформеры (Transformers) являются де-факто стандартом для решения задач обработки естественного языка, однако они неэффективно обрабатывают структуру языка, требуя квадратичного комплексности в зависимости от длины последовательности входных данных. Эта проблема становится еще более актуальной при работе с длинными текстами и дискурсами. Традиционные модели также слабо подстраиваются под целевые языковые задачи, такие как дискурс-уровень моделирования, и недостаточно эффективны в вычислительных ресурсах. Мы предлагаем новую архитектуру Hierarchical Resolution Transformer (HRT), которая адаптируется к естественному языку за счет многоуровневого представления текста и включает в себя элементы волновой теории. Это решение предназначено для улучшения моделирования языка на многих уровнях абстракции, от знаков до дискурсных единиц, с целью улучшения точности и снижения вычислительных затрат. ## Метод HRT использует многоуровневую структуру, вдохновленную волновыми теориями, для обработки текста на разных резолюциях, от морфем до дискурсных единиц. Архитектура включает в себя механизмы внешней и внутренней активации, которые обеспечивают эффективную обработку последовательностей на разных уровнях. Мы вводим новый механизм "субдискретного привязывания" (sub-discrete attention), который позволяет модели обрабатывать текст в экспоненциальном природе, а также "экспоненциального сжатия последовательностей" (exponential sequence reduction), чтобы уменьшить количество элементов входа в модель. Эти функциональности позволяют HRT эффективно обрабатывать длинные тексты с меньшим количеством вычислительных ресурсов, при этом сохраняя высокую точность. ## Результаты Мы проверили HRT на нескольких б BENCHMARKS, включая GLUE, SuperGLUE, Long Range Arena и WikiText-103. Наши результаты показывают, что HRT существенно превосходит традиционные модели Transformer по метрикам F1-score и accuracy. В частности, HRT показал +3.8% улучшение на GLUE, +4.5% на SuperGLUE, и +6.1% на Long Range Arena. К тому же, HRT эффективнее стандартных моделей по памяти и затратам времени, на 42% уменьшив память и 37% уменьшив latency на инференсе. Ablation studies показали, что как субдискретное привязывание, так и экспоненциальное сжатие вкладываются в оптимизацию как точности, так и эффективности. ## Значимость HRT может быть применена в различных областях, включая дискурс-уровень моделирования, диалоговые системы, анализ длинных текстов, а также задачи машинного перевода. Его преимущества заключаются в наибольшей точности, эффективности ресурсов и эффективном моделировании дискурса. Эта модель может стать новой с