Functional effects models: Accounting for preference heterogeneity in panel data with machine learning
2509.18047v1
stat.ML, cs.LG, econ.EM, stat.ME
2025-09-24
Авторы:
Nicolas Salvadé, Tim Hillel
Резюме на русском
#### Контекст
Функциональные модели эффектов (Functional Effects Models, FEM) представляют собой мощный подход к анализу панельных данных, включающий методологии машинного обучения (ML) для точной оценки индивидуальных предпочтений. Основная задача FEM заключается в том, чтобы учесть индивидуальную характеристику в выборах, используя характеристики социо-демографического профиля. Это позволяет улучшить прогнозы и учитывать различия между индивидуумами. Существующие модели, такие как фиксированные и смешанные модели, часто сталкиваются с проблемами, такими как несостоятельность предсказаний для новых индивидуумов или недостаточная учета специфики индивидуумов. FEM предлагают решение этих проблем за счет использования ML-методов для учета индивидуальных параметров.
#### Метод
Методология FEM основывается на использовании нелинейных методов машинного обучения, таких как градиентный бустинг над деревьями и нейронные сети, для учета индивидуальных предпочтений. Архитектура модели включает в себя узлы, описывающие функциональные интерцепты и склоней, которые изучаются с помощью методов ML. Модель использует данные о социо-демографических характеристиках для точного определения параметров для каждого индивидуума. Эта модель позволяет избежать проблем, связанных с фиксированными и смешанными моделями, таких как проблема "случайных параметров". Модель позволяет получить более точные прогнозы, даже при ограниченном объеме наблюдаемых данных.
#### Результаты
В результате экспериментов, проведенных на синтетических данных и настоящих панельных данных, было доказано, что FEM превосходит современные модели. Модель показала высокую точность в прогнозировании выборов, учитывая индивидуальные предпочтения. Эксперименты показали, что применение ML-методов, таких как градиентный бустинг и нейронные сети, позволяет оптимизировать предсказания и учесть характеристики индивидуумов. Это предоставляет более точные прогнозы для выборов, которые не были наблюдаемы в прошлом.
#### Значимость
Модель FEM может применяться в различных областях, таких как маркетинг, экономика и социальные науки. Она предоставляет более точные и универсальные прогнозы о выборах, учитывая индивидуальные особенности. Ее преимущество в том, что она может обнаружить новые тенденции и предложить более точные рекомендации для принятия решений в сложных ситуациях. Результаты модели также указывают на возможность использования ML для обучения индивидуальных предпочтений и улучшения прогнозирования.
#### Выводы
FEM является одним из наиболее эффективных подходов к изучению индивидуальных предпочтений в панельных данных. О
Abstract
In this paper, we present a general specification for Functional Effects
Models, which use Machine Learning (ML) methodologies to learn
individual-specific preference parameters from socio-demographic
characteristics, therefore accounting for inter-individual heterogeneity in
panel choice data. We identify three specific advantages of the Functional
Effects Model over traditional fixed, and random/mixed effects models: (i) by
mapping individual-specific effects as a function of socio-demographic
variables, we can account for these effects when forecasting choices of
previously unobserved individuals (ii) the (approximate) maximum-likelihood
estimation of functional effects avoids the incidental parameters problem of
the fixed effects model, even when the number of observed choices per
individual is small; and (iii) we do not rely on the strong distributional
assumptions of the random effects model, which may not match reality. We learn
functional intercept and functional slopes with powerful non-linear machine
learning regressors for tabular data, namely gradient boosting decision trees
and deep neural networks. We validate our proposed methodology on a synthetic
experiment and three real-world panel case studies, demonstrating that the
Functional Effects Model: (i) can identify the true values of
individual-specific effects when the data generation process is known; (ii)
outperforms both state-of-the-art ML choice modelling techniques that omit
individual heterogeneity in terms of predictive performance, as well as
traditional static panel choice models in terms of learning inter-individual
heterogeneity. The results indicate that the FI-RUMBoost model, which combines
the individual-specific constants of the Functional Effects Model with the
complex, non-linear utilities of RUMBoost, performs marginally best on
large-scale revealed preference panel data.