AQUA: Attention via QUery mAgnitudes for Memory and Compute Efficient Inference in LLMs

#### Контекст Large Language Models (LLMs) являются мощными инструментами для обработки естественного языка, но их развитие сталкивается с значимыми техническими вызовами. Одной из ключевых проблем является высокая сложность агрегации внимания (attention mechanism), которая растет в квадрате от числа токенов в контексте. Это приводит к большому потреблению вычислительных ресурсов и памяти, ограничивая возможности эффективного использования LLMs в реальном мире. Наличие такой барьера ставит под сомнение эффективность использования LLMs в сценариях, требующих большого контекста, таких как документный поиск, диалоговые системы и анализ больших документов. Наша мотивация заключается в разработке метода, способного эффективно решать эту проблему без существенной потери качества. #### Метод Мы предлагаем AQUA (Attention via QUery mAgnitudes) — новую стратегию, способную эффективно approximating attention. Метод работает в двух фазах. В первой фазе происходит оффлайн-подготовка, в ходе которой вычисляется универсальная, языконезависимая проекционная матрица с помощью SVD на калибровочной выборке. Во второй фазе — онлайн-инференсе — векторы запроса (query) и ключа (key) проецируются с помощью подготовленной матрицы, после чего выбирается спарседный набор дименсий, основываясь на мощности запроса (query magnitude). Это дает возможность существенно уменьшить вычислительную нагрузку при одновременном сохранении высокого качества результатов. Изучены аспекты теоретической обоснованности AQUA, в том числе точка переноса, при которой этот метод становится более эффективным, чем стандартная агрегация внимания. #### Результаты Мы проводили эксперименты на современных моделях, в том числе Llama-3.1-8B, используя различные бенчмарки. Наши результаты показали, что AQUA позволяет снизить затраты на вычисления внутри агрегации внимания на 25%, при этом не вызывая значительных потерь в качестве ответа. Были проанализированы преимущества с точки зрения уменьшения потребления памяти, включая H2O и KV-cache. Эти результаты подтверждают, что AQUA является эффективным инструментом для ускорения инференса в LLMs, сочетая в себе высокую точность и экономичность. #### Значимость AQUA может быть применен в различных сценариях, где требуется большой контекст для обработки языка, включая документный поиск, диалоговые системы и анализ больших данных. Он обеспечивает высокую эффективность с значительными экономиями в вычислительных ресурсах и памяти, без существенных потерь в качестве ответа. Это делает AQUA привлекательным для сценариев, где требуется максимальная производительность с ограниченными ре