Functional effects models: Accounting for preference heterogeneity in panel data with machine learning

2509.18047v1 stat.ML, cs.LG, econ.EM, stat.ME 2025-09-24
Авторы:

Nicolas Salvadé, Tim Hillel

Резюме на русском

#### Контекст Функциональные модели эффектов (Functional Effects Models, FEM) представляют собой мощный подход к анализу панельных данных, включающий методологии машинного обучения (ML) для точной оценки индивидуальных предпочтений. Основная задача FEM заключается в том, чтобы учесть индивидуальную характеристику в выборах, используя характеристики социо-демографического профиля. Это позволяет улучшить прогнозы и учитывать различия между индивидуумами. Существующие модели, такие как фиксированные и смешанные модели, часто сталкиваются с проблемами, такими как несостоятельность предсказаний для новых индивидуумов или недостаточная учета специфики индивидуумов. FEM предлагают решение этих проблем за счет использования ML-методов для учета индивидуальных параметров. #### Метод Методология FEM основывается на использовании нелинейных методов машинного обучения, таких как градиентный бустинг над деревьями и нейронные сети, для учета индивидуальных предпочтений. Архитектура модели включает в себя узлы, описывающие функциональные интерцепты и склоней, которые изучаются с помощью методов ML. Модель использует данные о социо-демографических характеристиках для точного определения параметров для каждого индивидуума. Эта модель позволяет избежать проблем, связанных с фиксированными и смешанными моделями, таких как проблема "случайных параметров". Модель позволяет получить более точные прогнозы, даже при ограниченном объеме наблюдаемых данных. #### Результаты В результате экспериментов, проведенных на синтетических данных и настоящих панельных данных, было доказано, что FEM превосходит современные модели. Модель показала высокую точность в прогнозировании выборов, учитывая индивидуальные предпочтения. Эксперименты показали, что применение ML-методов, таких как градиентный бустинг и нейронные сети, позволяет оптимизировать предсказания и учесть характеристики индивидуумов. Это предоставляет более точные прогнозы для выборов, которые не были наблюдаемы в прошлом. #### Значимость Модель FEM может применяться в различных областях, таких как маркетинг, экономика и социальные науки. Она предоставляет более точные и универсальные прогнозы о выборах, учитывая индивидуальные особенности. Ее преимущество в том, что она может обнаружить новые тенденции и предложить более точные рекомендации для принятия решений в сложных ситуациях. Результаты модели также указывают на возможность использования ML для обучения индивидуальных предпочтений и улучшения прогнозирования. #### Выводы FEM является одним из наиболее эффективных подходов к изучению индивидуальных предпочтений в панельных данных. О

Abstract

In this paper, we present a general specification for Functional Effects Models, which use Machine Learning (ML) methodologies to learn individual-specific preference parameters from socio-demographic characteristics, therefore accounting for inter-individual heterogeneity in panel choice data. We identify three specific advantages of the Functional Effects Model over traditional fixed, and random/mixed effects models: (i) by mapping individual-specific effects as a function of socio-demographic variables, we can account for these effects when forecasting choices of previously unobserved individuals (ii) the (approximate) maximum-likelihood estimation of functional effects avoids the incidental parameters problem of the fixed effects model, even when the number of observed choices per individual is small; and (iii) we do not rely on the strong distributional assumptions of the random effects model, which may not match reality. We learn functional intercept and functional slopes with powerful non-linear machine learning regressors for tabular data, namely gradient boosting decision trees and deep neural networks. We validate our proposed methodology on a synthetic experiment and three real-world panel case studies, demonstrating that the Functional Effects Model: (i) can identify the true values of individual-specific effects when the data generation process is known; (ii) outperforms both state-of-the-art ML choice modelling techniques that omit individual heterogeneity in terms of predictive performance, as well as traditional static panel choice models in terms of learning inter-individual heterogeneity. The results indicate that the FI-RUMBoost model, which combines the individual-specific constants of the Functional Effects Model with the complex, non-linear utilities of RUMBoost, performs marginally best on large-scale revealed preference panel data.

Ссылки и действия