Tracing the Representation Geometry of Language Models from Pretraining to Post-training

## Контекст Modern language models (LMs), особенно те, что имеют масштабируемую архитектуру, превзошли человеческие показатели во многих задачах обработки естественного языка. Однако, несмотря на их высокую эффективность, стандартные метрики обучения, такие как loss, оказываются недостаточными для точного описания появления высокоспециализированных качеств, таких как языковое понимание и творческая генерация. Это ставит перед учеными задачу расширения понимания механизмов, которые способствуют появлению этих качеств. Работа предлагает использовать **спектральный подход** для исследования геометрии представлений внутри LMs, подход, который может предоставить более глубокий взгляд на эту проблему. ## Метод Для исследования геометрии представлений, авторы применяют спектральные меры, такие как **effective rank (RankMe)** и **eigenspectrum decay ($\alpha$-ReQ)**. Эти показатели помогают изучить структуру внутренних представлений моделей в процессе обучения. Используются две модели: **OLMo (1B–7B параметров)** и **Pythia (160M–12B параметров)**. Для оценки этих моделей, авторы используют данные, собранные во время **autoregressive pretraining**, что позволяет исследовать появление и изменение представлений во время разных этапов тренировки. Также, они проводят эксперименты с **post-training**, в том числе **supervised fine-tuning (SFT)**, **directed pre-training (DPO)** и **reward-guided learning (RLVR)**, чтобы изучить как пост-тренировка влияет на геометрию представлений. ## Результаты Авторы выявили **три основных геометрических фазы** в процессе autoregressive pretraining. Каждая фаза имеет свои характеристики: 1. **Warmup phase**: здесь представления сжимаются, что соответствует отбору самых важных контекстных сигналов. 2. **Entropy-seeking phase**: в этой фазе, представления расширяются, что соответствует увеличению диапазона генерируемых значений. 3. **Compression-seeking phase**: в последней фазе, представления становятся более аносиотропными (избирательными), что приводит к поддержанию только самых важных составляющих. Эти фазы соответствуют разным стадиям развития модели, включая улучшение в downstream tasks. **Post-training** также оказывает свой вклад в изменение геометрии: **supervised fine-tuning (SFT)** и **directed pre-training (DPO)** учат модель работать с конкретными данными, что улучшает показатели на задачах внутри распределения, но может снизить общую универсальность. В то же время, **reward-guided learning (RLVR)** улучшает геометрию в плане выполнения конкретных задач, но может снизить диверситет генерации. ## Значимость Результаты имеют большое значение для осмысления и оптимизации процесса обучения моделей. Работа показывает, что **cross-entropy optimization** и **representational bottlenecks** (когда размерность представл