Do language models accommodate their users? A study of linguistic convergence
2508.03276v1
cs.CL
2025-08-09
Авторы:
Terra Blevins, Susanne Schmalwieser, Benjamin Roth
Резюме на русском
Многие мыслят, что большие языковые модели (LLM) профессионально генерируют текст, но их умение конвергировать к языковым паттернам пользователя — недостаточно изученный вопрос. Данная работа рассматривает, адаптируют ли модели свой стиль к стилю собеседника, анализируя 16 моделей, 3 диалоговых корпуса и стилетические признаки. Оказалось, что модели сильно конвергируют к стилю беседы, иногда даже превышая человеческий базис. Однако этот эффект зависит от типа обучения и размера модели: instruction-tuned и более крупные модели конвергируют менее чем их предварительно обученные аналоги. Несмотря на сходство стиля, разница в механизмах конвергенции человека и модели подчеркивает необходимость дальнейшего исследования для повышения естественности интерактивных диалогов.
Abstract
While large language models (LLMs) are generally considered proficient in
generating language, how similar their language usage is to that of humans
remains understudied. In this paper, we test whether models exhibit linguistic
convergence, a core pragmatic element of human language communication, asking:
do models adapt, or converge, to the linguistic patterns of their user? To
answer this, we systematically compare model completions of exisiting dialogues
to the original human responses across sixteen language models, three dialogue
corpora, and a variety of stylometric features. We find that models strongly
converge to the conversation's style, often significantly overfitting relative
to the human baseline. While convergence patterns are often feature-specific,
we observe consistent shifts in convergence across modeling settings, with
instruction-tuned and larger models converging less than their pretrained
counterparts. Given the differences between human and model convergence
patterns, we hypothesize that the underlying mechanisms for these behaviors are
very different.
Ссылки и действия
Дополнительные ресурсы: