InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

#### Контекст Исследование посвящено развитию способности значительных языковых моделей (LLM) обрабатывать длинные последовательности данных. Одним из основных проблемы в данной области является то, что стандартный самоп paптинг-аттентция (self-attention) в трансформерных архитектурах неэффективен при обработке длинных последовательностей из-за высокого потребления ресурсов и ограниченных возможностей масштабирования. Однако тренируемые способы спарсинга (trainable sparse attention), такие как NSA, несмотря на свои преимущества, вводят большое количество дополнительных параметров, что сбивает с толку стандартный подход "тренировка на коротких последовательностях, оптимизация на длинных". Данная ситуация приводит к медленному росту модели и трудностям в ее ускорении. Задача данного исследования состоит в создании метода, который бы способствовал эффективной обработке длинных последовательностей, сохранял высокую производительность и уменьшал накладные расходы на обучение. #### Метод Предлагаемый подход, InfLLM-V2, представляет собой систему деления на два этапа самоп paптинга (dense-sparse switchable attention framework). Основная идея заключается в том, что InfLLM-V2 использует параметры, уже распределенные в классической модели (для коротких последовательностей), и с минимальными дополнительными изменениями переходит к использованию тренируемого спарсинга (для длинных последовательностей). Это позволяет значительно сократить накладные расходы на обучение и ускорить процесс. Архитектура InfLLM-V2 включает в себя не только новую структуру для переключения между плотной и редкой аттентцией, но и эффективную реализацию, призванную сократить вычислительные затраты. Отдельно отмечается, что выборка данных в ходе исследования включала последовательности разной длины, с целью проверить модель в разных режимах работы. #### Результаты Проведенные эксперименты показали, что InfLLM-V2 значительно быстрее (4 раза) стандартные методы обработки длинных последовательностей с самоп paптингом, при этом сохраняя высокую точность (98.1% в задачах понимания длинного контекста и 99.7% в задачах цепочечного мышления). Это улучшение достигается благодаря тому, что InfLLM-V2 переключается на редкое самоп paптинг по мере увеличения длины последовательности, что экономит вычислительные мощности. Измерения показали, что модель была успешно запущена на данных, имеющих различные длины последовательностей, и всегда демонстрировала стабильную производительность. Кроме того, InfLLM-V2 был применен для тренировки и открытого репозитория MiniCPM4.1, что дает возможность другим исследователям воспроизвести результаты. #### Значимость Ре