Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization
2508.11365v1
cs.LG, cs.AI
2025-08-19
Авторы:
Jayanta Mandi, Ali İrfan Mahmutoğulları, Senne Berden, Tias Guns
Резюме на русском
## Контекст
Decision-focused learning (DFL) — это методология, нацеленная на обучение машинного обучения (ML) модели для предсказания параметров оптимизационных задач, чтобы напрямую минимизировать регрет решения (то есть, максимизировать качество решения). Одна из основных проблем DFL заключается в том, что для многих типов оптимизационных проблем, таких как линейные программы (LP), градиент от регрета по полученным предсказаниям примерно везде равен нулю. Это сделает традиционные градиентно-слоистые DFL-подходы неэффективными. Однако существуют два основных подхода для обхода этой проблемы: (а) сглаживание LP с помощью квадратичного регуляризатора, чтобы достичь дифференцируемого оптимизационного проблемы и уменьшить регрет, и (б) минимизация суррогатных потерь, которые имеют информативные (под)градиенты. Несмотря на эти подходы, все равно остаются проблемы с эффективностью и точностью. Цель нашей работы — проанализировать эти проблемы и предложить новую модель, которая бы улучшила результаты DFL.
## Метод
Мы предлагаем метод, основанный на минимизации суррогатных потерь, даже при использовании дифференцируемых оптимизационных слоев. Мы показываем, что суррогатные потери могут быть эффективно использованы для регрета в DFL, даже если регрет находится в крупных квази-статичных регионах. Наш метод использует модификации суррогатных потерь, позволяющие вычислять градиенты и минимизировать регрет. Мы также используем DYS-Net, недавно предложенный метод для дифференцируемой оптимизации LP, который использует аппроксимативные решения и градиенты. Мы продемонстрируем, что наш подход позволяет достичь результатов, сопоставимых или лучших, чем суррогатно-потери-ориентированные DFL-методы. Кроме того, мы покажем, что DYS-Net может быть эффективно использован для минимизации суррогатных потерь, снижая требования к вычислительным ресурсам и улучшая эффективность.
## Результаты
Мы проводим эксперименты с различными данными и оптимизационными задачами, включая линейные программы. Мы сравниваем наш подход с суррогатно-потерями-ориентированными DFL-методами, а также с традиционными градиентными DFL-подходами. Наши результаты показывают, что минимизация суррогатных потерь позволяет DYS-Net достичь регрета, сопоставимого с лучшими методами, но с значительной экономией ресурсов. Также мы продемонстрировали, что наш подход эффективен для различных типов оптимизационных задач и позволяет получить более точные результаты с меньшим временем обучения. Эти результаты подтверждают значительные преимущества нашего подхода в
Abstract
Decision-focused learning (DFL) trains a machine learning (ML) model to
predict parameters of an optimization problem, to directly minimize decision
regret, i.e., maximize decision quality. Gradient-based DFL requires computing
the derivative of the solution to the optimization problem with respect to the
predicted parameters. However, for many optimization problems, such as linear
programs (LPs), the gradient of the regret with respect to the predicted
parameters is zero almost everywhere. Existing gradient-based DFL approaches
for LPs try to circumvent this issue in one of two ways: (a) smoothing the LP
into a differentiable optimization problem by adding a quadratic regularizer
and then minimizing the regret directly or (b) minimizing surrogate losses that
have informative (sub)gradients. In this paper, we show that the former
approach still results in zero gradients, because even after smoothing the
regret remains constant across large regions of the parameter space. To address
this, we propose minimizing surrogate losses -- even when a differentiable
optimization layer is used and regret can be minimized directly. Our
experiments demonstrate that minimizing surrogate losses allows differentiable
optimization layers to achieve regret comparable to or better than
surrogate-loss based DFL methods. Further, we demonstrate that this also holds
for DYS-Net, a recently proposed differentiable optimization technique for LPs,
that computes approximate solutions and gradients through operations that can
be performed using feedforward neural network layers. Because DYS-Net executes
the forward and the backward pass very efficiently, by minimizing surrogate
losses using DYS-Net, we are able to attain regret on par with the
state-of-the-art while reducing training time by a significant margin.
Ссылки и действия
Дополнительные ресурсы: