Symbolic Quantile Regression for the Interpretable Prediction of Conditional Quantiles

2508.08080v1 cs.LG, cs.NE, stat.AP 2025-08-13
Авторы:

Cas Oude Hoekstra, Floris den Hengst

Резюме на русском

## Контекст Говорящий английский Область исследований в этих работах относится к методам символической регрессии (SR), которые используются для создания прозрачных (white-box) моделей предсказания. Хотя SR была успешно применена для предсказания среднего значения результата, её применение для оценки влияния предикторов на различные точки распределения целевой переменной, таких как медиана или экстремальные значения, остается недостаточно изученным. Такие оценки являются критически важными в приложениях, где необходима полная интерпретируемость модели, например, в области безопасности и критически важных решений. Целью данного исследования является разработка подхода, позволяющего применять символическую регрессию для предсказания кондідциональных квантилей (quantiles), что позволит получить более полное понимание влияния предикторов на различные точки распределения. ## Метод Разработанный подход, названный Symbolic Quantile Regression (SQR), основывается на символической регрессии для предсказания кондициональных квантилей. SQR использует методы символического уравнения для описания зависимости между предикторами и кондициональными квантилями целевой переменной. Методология включает ряд технических решений, таких как использование динамического программирования для поиска лучших уравнений, а также применение градиентного спуска для оптимизации параметров. Архитектура SQR основывается на применении символического уравнения для каждого кондиционального квантиля, что позволяет получить более точные и интерпретируемые предсказания в разных точках распределения целевой переменной. ## Результаты В ходе экспериментов был проведен сравнительный анализ SQR с другими моделями, включая транспарентные модели и красный-бокс-бейзлайн. Результаты показали, что SQR превосходит транспарентные модели и показывает почти одинаковую точность с бейзлайном, не уступая ему в прозрачности. Был проведен выбор набора данных, включающий пример авиационного транспорта, где было показано, как SQR может объяснить различия в распределении целевой переменной, в частности, влияние предикторов на разные квантили распределения. Эти результаты подтверждают, что SQR является высокоточной и прозрачной моделью для предсказания кондициональных квантилей и понимания взаимосвязей в данных. ## Значимость Полученный подход имеет широкое применение в ситуациях, где необходимо понимание как среднего, так и экстремальных результатов, что важно в здравоохранении, финансах и инженерных приложениях. Одним из основных преимуществ SQR является его прозрачность, что позволяет пользователю понять, как именно каждый предиктор влияет на ра

Abstract

Symbolic Regression (SR) is a well-established framework for generating interpretable or white-box predictive models. Although SR has been successfully applied to create interpretable estimates of the average of the outcome, it is currently not well understood how it can be used to estimate the relationship between variables at other points in the distribution of the target variable. Such estimates of e.g. the median or an extreme value provide a fuller picture of how predictive variables affect the outcome and are necessary in high-stakes, safety-critical application domains. This study introduces Symbolic Quantile Regression (SQR), an approach to predict conditional quantiles with SR. In an extensive evaluation, we find that SQR outperforms transparent models and performs comparably to a strong black-box baseline without compromising transparency. We also show how SQR can be used to explain differences in the target distribution by comparing models that predict extreme and central outcomes in an airline fuel usage case study. We conclude that SQR is suitable for predicting conditional quantiles and understanding interesting feature influences at varying quantiles.

Ссылки и действия