Tensorized Multi-Task Learning for Personalized Modeling of Heterogeneous Individuals with High-Dimensional Data

2508.15676v1 cs.LG, stat.ML 2025-08-23
Авторы:

Elif Konyar, Mostafa Reisi Gahrooei, Kamran Paynabar

Резюме на русском

#### Контекст Построение эффективных моделей для характеризации и предсказания поведения индивидуальных субпапуляций возникает во многих областях, включая медицину, маркетинг, безопасность и анализ трафика. Однако существуют серьезные трудности, связанные с различиями в индивидуальных характеристиках и поведенческих моделях. Это может привести к пониженной точности моделей и трудностям в их интерпретации. Для решения этой проблемы требуется метод, который мог бы учитывать общие черты и различия между субпапуляциями. Наша мотивация заключается в развитии метода, который бы позволял эффективно учитывать общие шаблоны и индивидуальные особенности в моделировании субпапуляций. #### Метод Мы предлагаем развитие фреймворка, основанного на многозадачном обучении (MTL) и низкоранговой декомпозиции тензоров. Моделирование многозадачности позволяет идентифицировать общие шаблоны между задачами, в то время как низкоранговая декомпозиция удаляет излишние параметры, упрощая интерпретацию модели. Архитектура MTL разделяет модель на две части: общую структуру, которая присутствует во всех задачах, и задачи-специфичные параметры, отвечающие за уникальные особенности каждой задачи. Мы также внедрили низкоранговую декомпозицию, которая позволяет хранить общие шаблоны в низкоранговой структуре и индивидуальные характеристики в низкоранговой структуре. Это подход допускает эффективное обучение моделей, делится знаниями для повышения точности и обеспечивает интерпретируемость модели. #### Результаты Мы провели эксперименты на симуляционных данных и реальных случаях, чтобы проверить эффективность нашего подхода. Для обучения использовались высокоразмерные данные, представляющие собой многозадачное обучение, с разными субпапуляциями. Мы сравнили наш подход с несколькими бенчмарками, включая методы многозадачного обучения и низкоранговой декомпозиции. Результаты показали, что наш метод превосходит бенчмарки по точности предсказания и интерпретируемости модели, особенно в случаях высокой разности между субпапуляциями. Это демонстрирует эффективность нашего подхода в моделировании сложных субпапуляций. #### Значимость Наш подход может применяться в различных областях, таких как здравоохранение, финансы, маркетинг и транспортная система. Он предлагает несколько преимуществ, таких как улучшение точности предсказания, уменьшение потребления ресурсов вычислений и улучшение интерпретируемости. Эти преимущества делают наш фреймворк привлекательным для решения проблем мо

Abstract

Effective modeling of heterogeneous subpopulations presents a significant challenge due to variations in individual characteristics and behaviors. This paper proposes a novel approach to address this issue through multi-task learning (MTL) and low-rank tensor decomposition techniques. Our MTL approach aims to enhance personalized modeling by leveraging shared structures among similar tasks while accounting for distinct subpopulation-specific variations. We introduce a framework where low-rank decomposition decomposes the collection of task model parameters into a low-rank structure that captures commonalities and variations across tasks and subpopulations. This approach allows for efficient learning of personalized models by sharing knowledge between similar tasks while preserving the unique characteristics of each subpopulation. Experimental results in simulation and case study datasets demonstrate the superior performance of the proposed method compared to several benchmarks, particularly in scenarios with high variability among subpopulations. The proposed framework not only improves prediction accuracy but also enhances interpretability by revealing underlying patterns that contribute to the personalization of models.

Ссылки и действия