The Transfer Neurons Hypothesis: An Underlying Mechanism for Language Latent Space Transitions in Multilingual LLMs

## Контекст В последние годы развитие многоязычных глубоких сетевых моделей (Multilingual Large Language Models, LLMs) стало одним из основных направлений искусственного интеллекта. Эти модели применяются для решения различных задач, включая перевод текста, оформление текста и анализ текста. Однако существуют значительные проблемы, связанные с их работой в многоязычных режимах. Хотя многоязычные модели обычно имеют доступ ко всем языкам в процессе обучения, они часто возвращаются к использованию английского языка в качестве центрального языка. Эта проблема отражается в том, что модели часто используют английский язык как язык-источник и целевой язык в задачах перевода и других задач, что может привести к ложным соотношениям и уменьшению качества предсказаний. Настоящее исследование посвящено поиску решения этой проблемы и раскрытию новых подходов для обеспечения более эффективного использования многоязычных моделей. ## Метод Мы предлагаем новую методологию, которая основывается на анализе внутренних динамик моделей многоязычных LLMs. Главной идеей является предположение, что существуют особые нейроны в модели, названные **"трансферными нейронами"**, которые привязаны к модулю MLP. Эти нейроны выполняют ключевую роль в переводе представлений между языковыми-конкретными подпространствами и общим семантическим подпространством. Мы также используем анализ влияния нейронов с различными задачами, такими как перевод и регуляризация текста, для подтверждения наших предположений. Для экспериментов мы использовали различные многоязычные модели, такие как mBERT и XLM-R, с разными настройками. ## Результаты Наши эксперименты подтвердили наличие трансферных нейронов в моделях многоязычных LLMs. Мы провели эксперименты с разными настройками и данными, в том числе с многоязычными текстовыми данными в различных языках. Мы применяли техники анализа влияния нейронов для определения вклада трансферных нейронов в логику моделей. Наши результаты показали, что эти нейроны играют критическую роль в правильном переводе и выполнении задач, связанных с многоязычностью. Мы также демонстрируем, что лежат в основе успеха моделей, которые удачно выполняют задачи многоязычного перевода и регуляризации текста. ## Значимость Наши находки имеют значительное значение для развития многоязычных моделей и их применения в реальной жизни. Мы показали, что эффективное управление трансферными нейронами может улучшить качество предсказаний в задачах, связанных с многоязычным текстом. Это открывает новые возможности для применения моделей в таких областях, как медицина