Symbolic Quantile Regression for the Interpretable Prediction of Conditional Quantiles
2508.08080v1
cs.LG, cs.NE, stat.AP
2025-08-13
Авторы:
Cas Oude Hoekstra, Floris den Hengst
Резюме на русском
## Контекст
Говорящий английский
Область исследований в этих работах относится к методам символической регрессии (SR), которые используются для создания прозрачных (white-box) моделей предсказания. Хотя SR была успешно применена для предсказания среднего значения результата, её применение для оценки влияния предикторов на различные точки распределения целевой переменной, таких как медиана или экстремальные значения, остается недостаточно изученным. Такие оценки являются критически важными в приложениях, где необходима полная интерпретируемость модели, например, в области безопасности и критически важных решений. Целью данного исследования является разработка подхода, позволяющего применять символическую регрессию для предсказания кондідциональных квантилей (quantiles), что позволит получить более полное понимание влияния предикторов на различные точки распределения.
## Метод
Разработанный подход, названный Symbolic Quantile Regression (SQR), основывается на символической регрессии для предсказания кондициональных квантилей. SQR использует методы символического уравнения для описания зависимости между предикторами и кондициональными квантилями целевой переменной. Методология включает ряд технических решений, таких как использование динамического программирования для поиска лучших уравнений, а также применение градиентного спуска для оптимизации параметров. Архитектура SQR основывается на применении символического уравнения для каждого кондиционального квантиля, что позволяет получить более точные и интерпретируемые предсказания в разных точках распределения целевой переменной.
## Результаты
В ходе экспериментов был проведен сравнительный анализ SQR с другими моделями, включая транспарентные модели и красный-бокс-бейзлайн. Результаты показали, что SQR превосходит транспарентные модели и показывает почти одинаковую точность с бейзлайном, не уступая ему в прозрачности. Был проведен выбор набора данных, включающий пример авиационного транспорта, где было показано, как SQR может объяснить различия в распределении целевой переменной, в частности, влияние предикторов на разные квантили распределения. Эти результаты подтверждают, что SQR является высокоточной и прозрачной моделью для предсказания кондициональных квантилей и понимания взаимосвязей в данных.
## Значимость
Полученный подход имеет широкое применение в ситуациях, где необходимо понимание как среднего, так и экстремальных результатов, что важно в здравоохранении, финансах и инженерных приложениях. Одним из основных преимуществ SQR является его прозрачность, что позволяет пользователю понять, как именно каждый предиктор влияет на ра
Abstract
Symbolic Regression (SR) is a well-established framework for generating
interpretable or white-box predictive models. Although SR has been successfully
applied to create interpretable estimates of the average of the outcome, it is
currently not well understood how it can be used to estimate the relationship
between variables at other points in the distribution of the target variable.
Such estimates of e.g. the median or an extreme value provide a fuller picture
of how predictive variables affect the outcome and are necessary in
high-stakes, safety-critical application domains. This study introduces
Symbolic Quantile Regression (SQR), an approach to predict conditional
quantiles with SR. In an extensive evaluation, we find that SQR outperforms
transparent models and performs comparably to a strong black-box baseline
without compromising transparency. We also show how SQR can be used to explain
differences in the target distribution by comparing models that predict extreme
and central outcomes in an airline fuel usage case study. We conclude that SQR
is suitable for predicting conditional quantiles and understanding interesting
feature influences at varying quantiles.
Ссылки и действия
Дополнительные ресурсы: