Hierarchical Evaluation Function (HEF): A Multi-Metric Approach for Optimizing Demand Forecasting Models
2508.13057v1
cs.LG, cs.AI, cs.PF, 62M10, 90C59, 68T05, I.2.6; I.5.1; I.5.2; I.5.4; G.1.6
2025-08-20
Авторы:
Adolfo González, Víctor Parada
Резюме на русском
**Резюме**
В данной работе рассматривается задача трехмерного временного ряда для подготовки прогнозов спроса в условиях сложности, неопределенности данных и частых режимных перемен. Для решения этой проблемы предлагается два пользовательских варианта оценочных функций: FMAE (Focused Mean Absolute Error) и HEF (Hierarchical Evaluation Function). Основное отличие этих функций заключается в том, что FMAE нацелен на минимизацию абсолютных ошибок для короткосрочных прогнозов, в то время как HEF рассчитана на глобальную оптимизацию, демпфируя большие отклонения и включая многомерную оценку. Опытные исследования показали, что HEF превосходит FMAE в глобальных показателях (R², Relative Accuracy, RMSE, RMSSE), обеспечивая более высокую точность прогноза и робастность модели. Однако FMAE превосходит HEF в местных показателях (MAE, MASE) и эффективности вычислений, что делает его более подходящим для короткосрочных задач. Таким образом, теоретические и практические результаты демонстрируют модельные требования и профили рисков, которые необходимо учитывать при выборе оптимального подхода к прогнозированию.
Abstract
Demand forecasting is essential for strategic planning in competitive
environments, enabling resource optimization and improved responsiveness to
market dynamics. However, multivariate time series modeling faces challenges
due to data complexity, uncertainty, and frequent regime shifts. Traditional
evaluation metrics can introduce biases and limit generalization. This work
compares two custom evaluation functions: FMAE (Focused Mean Absolute Error),
focused on minimizing absolute errors, and HEF (Hierarchical Evaluation
Function), designed to weight global metrics and penalize large deviations.
Experiments were conducted under different data splits (91:9, 80:20, 70:30)
using three optimizers (Grid Search, PSO, Optuna), assessing fit, relative
accuracy, robustness, and computational efficiency. Results show that HEF
consistently outperforms FMAE in global metrics (R2, Relative Accuracy, RMSE,
RMSSE), enhancing model robustness and explanatory power. These findings were
confirmed via visualizations and statistical tests. Conversely, FMAE offers
advantages in local metrics (MAE, MASE) and execution time, making it suitable
for short-term scenarios. The study highlights a methodological trade-off: HEF
is ideal for strategic planning, while FMAE is better suited for operational
efficiency. A replicable framework is proposed for optimizing predictive models
in dynamic environments.