Hydra: A 1.6B-Parameter State-Space Language Model with Sparse Attention, Mixture-of-Experts, and Memory

## Контекст Проблема долгого контекста в языковых моделях остается одной из основных сложностей в области глубокого обучения. Насколько показано в новостном стиле, текущие модели, такие как Transformer, сталкиваются с ограничениями в обработке длинных контекстов из-за высокой энергоемкости и памятных структур. Эти ограничения приводят к узкому фокусу на краткосрочные связи, что влечет за собой недостаточное понимание длинных структур текста. Одновременно, эффективные модели с участием множества экспертов (MoE) и хранением многомерных меморий (PKM) показали свою эффективность в обычных языковых задачах. Наша мотивация состоит в создании гибридной модели, которая объединяет эти элементы для единовременного решения проблем глубокого понимания текста и модульности в обработке длинных контекстов. ## Метод Мы предлагаем **Hydra**, новую 1.6B-параметровую языковую модель, которая комбинирует **Structured State Space Model (SSM)** для эффективной обработки текста с участием **sparse attention** и **mixture-of-experts (MoE)**. Модель делится на несколько модулей: **sparse global attention**, **chunk-level MoE feed-forward** и две типа памяти: **используемая для широкого контекста** и **специализированная для хранения фактических данных (factual data)**. Мы также предприняли шаг в добавлении **структурированного обучения** (curriculum learning) для управления сложностью модели в процессе тренировки. Эта архитектура предназначена для стабильного оптимизирования всех ее модулей и снятия технических ограничений, связанных с масштабированием языковых моделей. ## Результаты Мы провели эксперименты на **небольшом масштабе** (около 10 миллионов параметров) с синтетическими данными, чтобы проверить устойчивость и эффективность нашей архитектуры. Несмотря на то, что результаты на полном масштабе еще не подтверждены, эти исследования показали следующее: (1) Модель способна эффективно обрабатывать длинные контексты благодаря выделению спарсевого аутентичного внимания и кластеризации экспертов; (2) Двойное хранилище памяти позволяет модели сбалансированно использовать свое знание на синтезе длинных контекстов; (3) Модель показала модульность в масштабировании и контролируемую стабильность в течение тренировки. ## Значимость Модель Hydra открывает новые возможности в области глубокого понимания длинных текстов. Она может быть применена в различных областях, таких как **документный поиск**, **дата-майнинг** и **многоязычные модели**. Особенно важной является ее способность обрабатывать контексты длиной в тысячи токенов, что было бы невозможно для моделей с традиционной архитектурой. Это дает новые возможно