Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining

## Контекст Large language models (LLMs) подвергаются широкому исследованию из-за их способности принимать непредсказуемые решения, сложности которых могут происходить из-за своих глубоких абстракций. Однако существуют проблемы с эффективным определением, когда и как эти абстракции появляются, так как традиционные методы оценки не позволяют проследить постепенный процесс их развития. Это ограничивает возможность оценить, какие явления языка могут проявиться во время подготовки модели. Мотивация заключается в создании более точного понимания, как LLMs учитывают языковые закономерности, и в развитии методов, которые позволят оценить не только финальную эффективность моделей, но и процесс их обучения. ## Метод Для развития понимания появления языковых признаков во время подготовки моделей был применен метод **sparse crosscoders**. Это специальная техника, позволяющая выделить и анализировать отдельные функции, возникающие во время обучения, сравнивая промежуточные модели, которые отличаются по производительности и характеру ответа. Для оценки влияния отдельных признаков была введена новая метрика **Relative Indirect Effects (RelIE)**. Эта метрика позволяет отслеживать эволюцию признаков во времени и определять моменты их важности для задачи. Такой подход не зависит от архитектуры LLM и позволяет изучать данные на разных этапах обучения, предоставляя более точную картину развития модели. ## Результаты Используя этот подход, авторы провели многочисленные эксперименты, которые позволили отследить возникновение, развитие и затухание языковых признаков во время обучения. Они установили, что модели не только учитывают языковые закономерности сразу после начала обучения, но и продолжают их уточнять и консолидировать в течение всего процесса. Например, модели начинают замечать и исправлять сложности с неправильными склонениями в процессе работы. Метрика RelIE позволила отследить точные моменты, когда отдельные функции становятся критичными для достижения высокой производительности. ## Значимость Результаты этого исследования имеют большое значение для областей, где необходимо понимание, как модели LLM обучаются и становятся способными выполнять языковые задачи. Например, это может помочь в разработке более точных моделей для перевода или генерации текстов. Благодаря методу crosscoders становится возможным выявлять проблемы в моделях на ранних этапах обучения и корректировать их, что повышает их качество и универсальность. Этот подход также открывает пути для более глубокого интерпретируемого исследования, так как позволяет понять, какие части модели важны для конкретных задач. ## Выводы Результаты исследования показывают,