ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models

#### Контекст Large Language Models (LLMs) достигли выдающихся результатов по многим задачам. Однако они сталкиваются со сложностями при работе с длинными контекстами. Эти проблемы возникают из-за ограниченной эффективной длины контекста, высокой вычислительной сложности, оценивающейся квадратично, и высокого потребления памяти при обработке длинных входных строк. Такие ограничения становятся помехой при использовании LLMs в сценариях, требующих обработки длинных документов или контекстов. Чтобы устранить эти проблемы, разработана методика, названная Intermediate Layer Retrieval (ILRe), которая направлена на эффективное сжатие контекста без потери смысла. #### Метод ILRe предлагает новую подходящую стратегию сжатия контекста. Она определяет оптимальный уровень декодирования во время обучения или в процессе моделирования. Затем процесс предварительной загрузки (prefilling) контекста ограничивается до этого уровня. Остальная часть контекста доступна через аттенционные срезы. Для того, чтобы сохранить полноту смысла, в ILRe введена стратегия мульти-пулинга (multi-pooling kernels), способная обеспечить полную восстановление смысла в контекстных сценариях. В результате, ILRe уменьшает вычислительный вес входного запроса, а также повышает быстродействие, не требуя дополнительной моделирования или пост-обучения. #### Результаты Исследования подтвердили эффективность ILRe в обработке длинных контекстов. Например, модель Llama-3.1-UltraLong-8B-1M-Instruct, обрабатывая запросы до 1 миллиона токенов, ускорялась примерно в 180 раз, получив результат RULER-$1M$ близкий к 79.8. Эти результаты были достигнуты на Huawei Ascend 910B NPU без дополнительных модификаций модели или дополнительного обучения. Это демонстрирует то, что ILRe эффективно сжимает контекст, сохраняя качество и быстродействие. #### Значимость ILRe может быть применено в сценариях, требующих высокого быстродействия при обработке длинных документов, таких как поиск, ранжирование, моделирование диалогов в телекоммуникационных системах или анализ текстов в машинном обучении. Основные преимущества ILRe заключаются в снижении сложности предварительной загрузки, улучшении производительности и сохранении точности результатов, даже при обработке очень длинных запросов. Эти достижения открывают пути для более эффективного использования LLMs в задачах, требующих огромных объемов контекста. #### Выводы Предложенная ILRe-методика достигает существенного ускорения и эффективности при обработке длинных контекстов в LLMs без дополнительного накладываемого кода или моделей. Она эффективно сжимает контекст, поддерживая качество д