SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
2508.05305v1
cs.CL
2025-08-09
Авторы:
Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Andrey Kuznetsov, Anton Razzhigaev
Резюме на русском
**Резюме**
Проблема: Недавно представленная Large Concept Model (LCM) генерирует текст путем предсказания последовательности семантических объемов предложений и обучения с помощью метрик mean-squared error или diffusion. Однако этот подход сложности с эффективностью и семантической абстракцией.
Решение: Мы предлагаем SONAR-LLM, декодерно-только трансформер, который "думает" в семантическом пространстве SONAR, но обучается с помощью кросс-энтропии на уровне токенов, что обеспечивает точную линейную связь между начальным обучением и поведением во время генерации.
Основные выводы: SONAR-LLM поддерживает высокую семантическую абстракцию LCM, но без встроенных ограничений diffusion. Он демонстрирует состязательную генерационную качество по всему диапазону параметров (от 39M до 1.3B) и предоставляет полный код обучения и предобученные модели для дальнейшей исследовательской работы.
Abstract
The recently proposed Large Concept Model (LCM) generates text by predicting
a sequence of sentence-level embeddings and training with either mean-squared
error or diffusion objectives. We present SONAR-LLM, a decoder-only transformer
that "thinks" in the same continuous SONAR embedding space, yet is supervised
through token-level cross-entropy propagated via the frozen SONAR decoder. This
hybrid objective retains the semantic abstraction of LCM while eliminating its
diffusion sampler and restoring a likelihood-based training signal. Across
model sizes from 39M to 1.3B parameters, SONAR-LLM attains competitive
generation quality. We report scaling trends, ablations, benchmark results, and
release the complete training code and all pretrained checkpoints to foster
reproducibility and future research.
Ссылки и действия
Дополнительные ресурсы: