SLIM-LLMs: Modeling of Style-Sensory Language RelationshipsThrough Low-Dimensional Representations
2508.02901v1
cs.CL
2025-08-09
Авторы:
Osama Khalid, Sanvesh Srivastava, Padmini Srinivasan
Резюме на русском
**Резюме**
В статье рассматривается проблема моделирования взаимосвязи между сенсорным языком (языком, связанным с чувствами — зрение, звук, механическое давление, вкус, запах, внутреннее ощущение) и стилистическими особенностями текста, измеренными методом LIWC. Основным решением является предложение модели SLIM-LLMs, основанной на Reduced-Rank Ridge Regression (R4), которая эффективно отображает низкоразмерные латентные представления LIWC-признаков (количество = 24), позволяя предсказывать стилистические особенности сенсорного языка. Это решение позволяет сократить количество параметров модели до 80%, сохранив эффективность интерпретируемых моделей по сравнению с традиционными технологиями обработки естественных языков. Оценка на данных из пяти жанров подтвердила высокую точность SLIM-LLMs в предсказании сенсорных особенностей текста.
Abstract
Sensorial language -- the language connected to our senses including vision,
sound, touch, taste, smell, and interoception, plays a fundamental role in how
we communicate experiences and perceptions. We explore the relationship between
sensorial language and traditional stylistic features, like those measured by
LIWC, using a novel Reduced-Rank Ridge Regression (R4) approach. We demonstrate
that low-dimensional latent representations of LIWC features r = 24 effectively
capture stylistic information for sensorial language prediction compared to the
full feature set (r = 74). We introduce Stylometrically Lean Interpretable
Models (SLIM-LLMs), which model non-linear relationships between these style
dimensions. Evaluated across five genres, SLIM-LLMs with low-rank LIWC features
match the performance of full-scale language models while reducing parameters
by up to 80%.
Ссылки и действия
Дополнительные ресурсы: