Steering Language Models in Multi-Token Generation: A Case Study on Tense and Aspect

#### Контекст Modern large language models (LLMs) обладают возможностью генерировать текст с высоким уровнем грамматической корректности. Однако, насколько эти модели внутренне кодируют синтаксическую информацию, остается неясным. Несмотря на то, что большая часть предыдущих исследований сосредоточилась на двоичных грамматических характеристиках (например, правильность глагола в бинарной конструкции), настоящее исследование сосредоточено на более сложных, многомерных структурах, таких как глагольные времена и аспекты. Эти понятия имеют множественные составляющие, которые влияют друг на друга. Целью данной работы является раскрытие и контроль этих сложных структур в генеративных моделях. #### Метод Чтобы изучить способность моделей кодировать времена и аспекты глаголов, авторы применяют **linear discriminant analysis (LDA)** для выявления ориентированных направлений в пространстве резидентных весов модели. Эти направления характеризуются как влияющие на конкретные грамматические черты. Далее, авторы применяют **concept steering** для контроля этих грамматических черт в генерации текста. Этот подход включает в себя внесение мелких изменений в веса модели, чтобы управлять выходом генерации. Исследования проводятся на трех различных задачах генерации текста, чтобы проверить устойчивость и точность контроля. #### Результаты В результате экспериментов авторы устанавливают, что модели могут кодировать времена и аспекты глаголов с большим уровнем структурированности. Определены определенные направления в весах, которые влияют на эти грамматические черты. Далее, применение concept steering позволяет контролировать эти черты в ходе генерации, но с определенными ограничениями. Например, для выдачи желаемого результата требуется тщательная настройка параметров, таких как сила, место и длительность концепт-стиринга. Однако, существуют риски, такие как нежелательные эффекты, такие как смена темы или дегенерация текста. #### Значимость Полученные результаты имеют важное применение в области глубокого обучения и генеративных моделей. Например, знание о том, как модели кодируют времена и аспекты глаголов, может помочь в создании более точных текстовых генераторов, используемых в различных приложениях, таких как перевод, синтез речи и генерация ответов на вопросы. Кроме того, эта работа открывает пути к более точному контролю выходов генеративных моделей, что может быть полезно в сферах, где важна точность и контроль, таких как юридическая генерация или генерация текста в определенной сфере. #### Выводы Исследование показывает, что LLM могут кодировать вре