Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics

#### Контекст Large language models (LLMs) часто сталкиваются с проблемами при переносе знаний между языками. Они могут "висеть" при выдаче ответов на вопросы, выраженные в одном языке, но основанных на фактах, описанных в другом языке. Эта проблема становится особенно важной при использовании LLMs в многоязычных задачах, где необходимо достоверно переносить знания из одного языка на другой. Одной из главных мотиваций для этого исследования является необходимость понять причины этого явления и разработать способы улучшить cross-lingual transfer. Эксперименты, проведенные на малых моделях Transformer, показали, что проблема кроется в том, как модели обрабатывают информацию во время обучения и как они устанавливают связи между фактами и их представлением на разных языках. #### Метод Для исследования этой проблемы был разработан контролируемый экспериментальный подход. Модели Transformer обучались с нуля на синтетических многоязычных данных, где каждый факт был выражен на нескольких языках. Модели были строительством трансформерных сетей с разным количеством слоёв и разным количеством параметров. Методология включала в себя мониторинг процесса обучения, анализ токенизации данных и исследование способов изменять степень "объединения" (unification) представлений между языками. Это дало возможность изучить, как различные факторы, такие как токенизация, объем данных и степень связанности фактов с языком, влияют на уровень cross-lingual transfer. #### Результаты Результаты исследования показали, что модели Transformer могут развивать так называемые "разделенные" или "объединенные" представления фактов на разных языках. Объединенные представления необходимы для эффективного cross-lingual transfer. Было выявлено, что степень объединения зависит от двух основных факторов: насколько легко извлекается язык из данных и насколько сильно факты связаны с конкретным языком. В рамках экспериментов были разработаны новые метрики и визуализации, позволяющие лучше понять, как уровень unification зависит от того, как модель обучается и какие данные используются. Эти метрики позволили отслеживать изменения в представлениях модели во время обучения и исследовать, какие методы могут повысить степень cross-lingual transfer. #### Значимость Полученные результаты имеют значительное значение для двух главных областей: многоязычных моделей и методологии их training. Они позволяют улучшить перенос знаний между языками, что имеет практическое значение для областей, где необходимо многоязычное понимание текста, таких как медицина, право и международные коммуникации. Кроме того, работа показывает, как модели могут быть модифицированы, чтобы улучшить cross-lingual transfer