Mamba Modulation: On the Length Generalization of Mamba

#### Контекст Проблема масштабирования в Трансформер-моделях, особенно в задачах языкового моделирования, ставит перед разработчиками вызов. Традиционная архитектура Трансформера основана на применении квадратично сложной атенционной механики, что приводит к высоким требованиям к вычислительным ресурсам. В этой связи в последние годы развиваются альтернативные модели, стремящиеся решить эту проблему с помощью моделей с подъемом сложности меньшей, чем квадратичное. Одним из таких моделей является Mamba, которая доказала свою эффективность в различных языковых моделированиях. Однако, несмотря на свои достижения, Mamba оказалась чувствительной к продолжению контекста в тестах, в которых входные данные имели длину, отличную от тех, которые рассматривались в предварительном обучении. Этот феномен приводит к ухудшению качества модели и делает ее менее универсальной. Мы рассматриваем эту проблему как результат недостатка генерализации модели на длинные контексты и приступаем к ее расследованию. #### Метод Для разбора причин, по которым Mamba страдает от длинных контекстов, вначале мы проводим подробный анализ внутренних динамик модели, в частности, структуры стейт-спейса. Мы показываем, что проблема возникает из-за поведения состояний в модели, которое передвигается вне диапазона, с которым она сталкивалась в предварительном обучении. Это происходит из-за спектра транзитивного матрицы $\mathbf{A}$, который не устойчив к длинным контекстам. Мы основываем наш анализ на теоретических выводах, подкрепленных экспериментальными исследованиями, и показываем, что изменение спектра $\mathbf{A}$ может улучшить поведение Mamba при продолжении контекста. Методика, которую мы применяем, заключается в модуляции спектра $\mathbf{A}$ в каждом слое модели, чтобы предотвратить выход состояний за установленный диапазон. #### Результаты Мы проводим эксперименты на наборе данных с различными длинами контекста, оценивая качество модели Mamba до и после модуляции спектра. Эксперименты показывают, что простое изменение $\Delta_t$ (параметра отсчёта времени) недостаточно для решения проблемы длинных контекстов, так как оно не адресует ключевую причину — неустойчивость спектра $\mathbf{A}$. В то же время, модуляция спектра позволяет Mamba лучше справляться с тестами на длинные контексты, существенно повышая качество модели. Мы также проводим эксперименты с конкурирующими моделями и показываем, что Mamba модифицированная с помощью нашего подхода показывает значительно лучший результат, чем соревнующиеся модели. #### Значимость Предложенный подход имеет большое значение в сфере моделей с генеральной способностью