From Monolingual to Bilingual: Investigating Language Conditioning in Large Language Models for Psycholinguistic Tasks
2508.02502v1
cs.CL
2025-08-09
Авторы:
Shuzhou Yuan, Zhan Qu, Mario Tawfelis, Michael Färber
Резюме на русском
**Резюме**
В статье рассматривается тематика исследования того, насколько Large Language Models (LLMs) способны поддерживать психолингвистические отклики в зависимости от монолингвальных и билингвальных контекстов. Для этого проводилось исследование двух моделей (Llama-3.3-70B-Instruct и Qwen2.5-72B-Instruct) под сценариями подсказок в английском, голландском и китайских языках. Для оценки результатов были использованы две задачи: звуковой символизм и оценка валиентности слов.
Результаты показали, что обе модели могут адаптировать свои ответы в зависимости от установленного языка, с Qwen, в свою очередь, демонстрируя более точные и четкие различия между китайским и голландским. Детальное анализирование также показало, что внутренние психолингвистические сигналы становятся более четкими в глубине слоёв моделей, при этом в языке китайских ситуаций демонстрируется более стабильность и силу валиентных представлений по сравнению с голландским.
В итоге модели LLM показали способность усвоить и кодировать психолингвистическую информацию в зависимости от монолингвальной и билингвальной контекстной среды. Это позволяет сделать вывод, что язык в контексте моделей LLM отражает и внутренние представления, и выходные ответы, что является важной находкой для использования этих моделей в качестве моделей кросс-языковой когнитивной информации.
Abstract
Large Language Models (LLMs) exhibit strong linguistic capabilities, but
little is known about how they encode psycholinguistic knowledge across
languages. We investigate whether and how LLMs exhibit human-like
psycholinguistic responses under different linguistic identities using two
tasks: sound symbolism and word valence. We evaluate two models,
Llama-3.3-70B-Instruct and Qwen2.5-72B-Instruct, under monolingual and
bilingual prompting in English, Dutch, and Chinese. Behaviorally, both models
adjust their outputs based on prompted language identity, with Qwen showing
greater sensitivity and sharper distinctions between Dutch and Chinese. Probing
analysis reveals that psycholinguistic signals become more decodable in deeper
layers, with Chinese prompts yielding stronger and more stable valence
representations than Dutch. Our results demonstrate that language identity
conditions both output behavior and internal representations in LLMs, providing
new insights into their application as models of cross-linguistic cognition.
Ссылки и действия
Дополнительные ресурсы: