Retrospective Sparse Attention for Efficient Long-Context Generation

#### Контекст Под влиянием развития ИИ становятся все более популярными грандиозные языковые модели (LLMs), применяемые в задачах длинного контекста, таких как логическое восторженное отношение, генерация кода и многократные диалоги. Однако инференция в таких задачах становится сложной и затратной из-за Key-Value (KV) cache, чьи требования к памяти растут линейно в зависимости от длины последовательности, что становится ограничивающим фактором. Несмотря на то, что существуют методы сжатия KV cache, они сконцентрированы на входных данных и не учитывают постоянные "ошибки" в обработке во время длительных выводов. Наша модель RetroAttention предлагает новый подход к обновлению KV cache, основанный на редактировании прошлых выходов по мере поступления новых данных. Это позволяет исправлять предыдущие процессы расчета в зависимости от новых данных, повышая точность и эффективность. #### Метод Мы предлагаем RetroAttention, новый метод обновления KV cache, который перестраивает прошлые выходы атацены на основе новых данных, поступающих во время декодирования. Наша модель вводит новую архитектуру с весьма компактным выходным KV cache, который позволяет эффективно обращаться к последним данным и корректировать ранее полученные результаты. Это модельное решение не только сокращает затраты памяти, но также обеспечивает постоянные оптимизации в процессе работы модели. Метод включает в себя новый алгоритм, который может постоянно повторно вычислять и улучшать прошлые выходы, не нарушая ресурсы и тем самым повышая точность. #### Результаты Мы провели серию экспериментов, используя различные данные, включая длинные тексты и задачи генерации. Наши результаты показывают, что RetroAttention повышает эффективность работы KV cache, увеличивая эффективность доступа до 1.6 раз по сравнению с современными методами. Также наблюдается повышение точности результатов до 21.9% при задачах длинного контекста. Эти результаты подтверждают, что RetroAttention может эффективно решать проблему "утопления" в данных, которая часто возникает при работе с длинными контекстами. #### Значимость Предлагаемый подход RetroAttention может быть применен в различных областях, таких как генерация текста, кодирование, анализ текстов и даже в сфере роботов. Он предлагает значительные преимущества в скорости и точности вывода, что может позволить улучшить работу систем, использующих глубокое обучение. Наша модель представляет собой новый шаг в области эффективного обработки данных в моделях с широким потенциалом для развития. #### Выводы Мы представили RetroAttention, новый подход к обработке длинных контекстов в моделях, который повышает эффективно