Selective Induction Heads: How Transformers Select Causal Structures In Context
2509.08184v1
cs.LG, stat.ME
2025-09-12
Авторы:
Francesco D'Angelo, Francesco Croce, Nicolas Flammarion
Резюме на русском
## Контекст
Трансформеры (Transformers) определили новый уровень качества в области последовательной моделирования, основываясь на самоповторяющейся самоподстраиваемой аттенции и возможности однокровного обучения. Одним из ключевых элементов их успеха являются индукционные заголовки (induction heads) — специальные механизмы, позволяющие трансформерам скопировать токены на основе их предыдущих появлений. Несмотря на их успех, существуют вопросы о нетривиальных аспектах, таких как их устойчивость к динамически меняющимся связям между токенами в контекстно-зависимых языковых задачах. До сих пор, существующие исследования опирались на Марковские цепи для исследования структуры индукционных заголовков, однако эти модели не удалось полностью отразить сложность естественных языков, где связи между токенами меняются динамически в зависимости от контекста. Мы предлагаем новую модель, которая раскрывает как трансформеры выбирают соответствующую структуру в зависимости от контекста, что дает новый взгляд на их способность к динамическому принятию решений в сетях.
## Метод
Мы представляем новую модель, в которой переменные индукционных заголовков (induction heads) взаимодействуют с динамически изменяющимися связями между токенами. В частности, мы используем несколько связанных Марковских цепей с разной длиной лага (lag) для симулирования динамических связей, в то время как сами трансформеры оперируют фиксированными вероятностями перехода. Этот подход позволяет изучить роль индукционных заголовков в выборе каскадной структуры в зависимости от контекста. Мы разработали подробную конструкцию 3-уровневого трансформера, включающую выбор индукционного заголовка в зависимости от контекста. Доказательство теоретической точности нашей модели основывается на конструкции трансформера, которая выбирает каскадную структуру, асимптотически приближающуюся к максимальной логической вероятности.
## Результаты
Мы провели эксперименты, использовав данные с различными синтетическими связями между токенами, обучив трансформеры на основе предложенной модели. Результаты показывают, что трансформеры адаптируются к динамическим связям, выбирая правильные индексы в зависимости от контекста. На примере научного текста, мы продемонстрировали, что модель выбирает правильный индекс в зависимости от контекста, даже если связи между токенами меняются. Также мы демонстрируем, что наша модель позволяет трансформеру асимптотически приближаться к
Abstract
Transformers have exhibited exceptional capabilities in sequence modeling
tasks, leveraging self-attention and in-context learning. Critical to this
success are induction heads, attention circuits that enable copying tokens
based on their previous occurrences. In this work, we introduce a novel
framework that showcases transformers' ability to dynamically handle causal
structures. Existing works rely on Markov Chains to study the formation of
induction heads, revealing how transformers capture causal dependencies and
learn transition probabilities in-context. However, they rely on a fixed causal
structure that fails to capture the complexity of natural languages, where the
relationship between tokens dynamically changes with context. To this end, our
framework varies the causal structure through interleaved Markov chains with
different lags while keeping the transition probabilities fixed. This setting
unveils the formation of Selective Induction Heads, a new circuit that endows
transformers with the ability to select the correct causal structure
in-context. We empirically demonstrate that transformers learn this mechanism
to predict the next token by identifying the correct lag and copying the
corresponding token from the past. We provide a detailed construction of a
3-layer transformer to implement the selective induction head, and a
theoretical analysis proving that this mechanism asymptotically converges to
the maximum likelihood solution. Our findings advance the understanding of how
transformers select causal structures, providing new insights into their
functioning and interpretability.
Ссылки и действия
Дополнительные ресурсы: