Do language models accommodate their users? A study of linguistic convergence

2508.03276v1 cs.CL 2025-08-09
Авторы:

Terra Blevins, Susanne Schmalwieser, Benjamin Roth

Резюме на русском

Многие мыслят, что большие языковые модели (LLM) профессионально генерируют текст, но их умение конвергировать к языковым паттернам пользователя — недостаточно изученный вопрос. Данная работа рассматривает, адаптируют ли модели свой стиль к стилю собеседника, анализируя 16 моделей, 3 диалоговых корпуса и стилетические признаки. Оказалось, что модели сильно конвергируют к стилю беседы, иногда даже превышая человеческий базис. Однако этот эффект зависит от типа обучения и размера модели: instruction-tuned и более крупные модели конвергируют менее чем их предварительно обученные аналоги. Несмотря на сходство стиля, разница в механизмах конвергенции человека и модели подчеркивает необходимость дальнейшего исследования для повышения естественности интерактивных диалогов.

Abstract

While large language models (LLMs) are generally considered proficient in generating language, how similar their language usage is to that of humans remains understudied. In this paper, we test whether models exhibit linguistic convergence, a core pragmatic element of human language communication, asking: do models adapt, or converge, to the linguistic patterns of their user? To answer this, we systematically compare model completions of exisiting dialogues to the original human responses across sixteen language models, three dialogue corpora, and a variety of stylometric features. We find that models strongly converge to the conversation's style, often significantly overfitting relative to the human baseline. While convergence patterns are often feature-specific, we observe consistent shifts in convergence across modeling settings, with instruction-tuned and larger models converging less than their pretrained counterparts. Given the differences between human and model convergence patterns, we hypothesize that the underlying mechanisms for these behaviors are very different.

Ссылки и действия