Tensorized Multi-Task Learning for Personalized Modeling of Heterogeneous Individuals with High-Dimensional Data
2508.15676v1
cs.LG, stat.ML
2025-08-23
Авторы:
Elif Konyar, Mostafa Reisi Gahrooei, Kamran Paynabar
Резюме на русском
#### Контекст
Построение эффективных моделей для характеризации и предсказания поведения индивидуальных субпапуляций возникает во многих областях, включая медицину, маркетинг, безопасность и анализ трафика. Однако существуют серьезные трудности, связанные с различиями в индивидуальных характеристиках и поведенческих моделях. Это может привести к пониженной точности моделей и трудностям в их интерпретации. Для решения этой проблемы требуется метод, который мог бы учитывать общие черты и различия между субпапуляциями. Наша мотивация заключается в развитии метода, который бы позволял эффективно учитывать общие шаблоны и индивидуальные особенности в моделировании субпапуляций.
#### Метод
Мы предлагаем развитие фреймворка, основанного на многозадачном обучении (MTL) и низкоранговой декомпозиции тензоров. Моделирование многозадачности позволяет идентифицировать общие шаблоны между задачами, в то время как низкоранговая декомпозиция удаляет излишние параметры, упрощая интерпретацию модели. Архитектура MTL разделяет модель на две части: общую структуру, которая присутствует во всех задачах, и задачи-специфичные параметры, отвечающие за уникальные особенности каждой задачи. Мы также внедрили низкоранговую декомпозицию, которая позволяет хранить общие шаблоны в низкоранговой структуре и индивидуальные характеристики в низкоранговой структуре. Это подход допускает эффективное обучение моделей, делится знаниями для повышения точности и обеспечивает интерпретируемость модели.
#### Результаты
Мы провели эксперименты на симуляционных данных и реальных случаях, чтобы проверить эффективность нашего подхода. Для обучения использовались высокоразмерные данные, представляющие собой многозадачное обучение, с разными субпапуляциями. Мы сравнили наш подход с несколькими бенчмарками, включая методы многозадачного обучения и низкоранговой декомпозиции. Результаты показали, что наш метод превосходит бенчмарки по точности предсказания и интерпретируемости модели, особенно в случаях высокой разности между субпапуляциями. Это демонстрирует эффективность нашего подхода в моделировании сложных субпапуляций.
#### Значимость
Наш подход может применяться в различных областях, таких как здравоохранение, финансы, маркетинг и транспортная система. Он предлагает несколько преимуществ, таких как улучшение точности предсказания, уменьшение потребления ресурсов вычислений и улучшение интерпретируемости. Эти преимущества делают наш фреймворк привлекательным для решения проблем мо
Abstract
Effective modeling of heterogeneous subpopulations presents a significant
challenge due to variations in individual characteristics and behaviors. This
paper proposes a novel approach to address this issue through multi-task
learning (MTL) and low-rank tensor decomposition techniques. Our MTL approach
aims to enhance personalized modeling by leveraging shared structures among
similar tasks while accounting for distinct subpopulation-specific variations.
We introduce a framework where low-rank decomposition decomposes the collection
of task model parameters into a low-rank structure that captures commonalities
and variations across tasks and subpopulations. This approach allows for
efficient learning of personalized models by sharing knowledge between similar
tasks while preserving the unique characteristics of each subpopulation.
Experimental results in simulation and case study datasets demonstrate the
superior performance of the proposed method compared to several benchmarks,
particularly in scenarios with high variability among subpopulations. The
proposed framework not only improves prediction accuracy but also enhances
interpretability by revealing underlying patterns that contribute to the
personalization of models.
Ссылки и действия
Дополнительные ресурсы: