Overfitting in Adaptive Robust Optimization

2509.16451v1 math.OC, cs.LG, stat.ML 2025-09-24
Авторы:

Karl Zhu, Dimitris Bertsimas

Резюме на русском

#### Контекст Adaptive robust optimization (ARO) — это расширение статического robust optimization, позволяющее решениям зависеть от реализованного неопределенности. Это делает его более гибким, чем статические модели, так как решения могут адаптироваться к изменениям в данных. Однако это гибкость сопровождается уязвимостью: решения могут стать "пронизываемыми", если реализации выходят за пределы исходного неопределенности. Это поведение аналогично overfitting в машинном обучении, где модель слишком тесно привязана к тренировочным данным и становится неспособной общероботку. Такая уязвимость ARO может привести к невозможности решения задачи в некоторых случаях. Это мотивирует разработку методов, которые уменьшат чувствительность ARO к выходу из наблюдаемого диапазона неопределенности. #### Метод Метод предполагает присвоение конкретности для каждого ограничения в модели, с учетом пропорциональной уровня трудности и важности этого ограничения. Это подход подход можно проанализировать как вид регуляризации, которая помогает оптимизировать гибкость решения. Задача заключается в том, чтобы найти баланс между гибкостью и стабильностью, чтобы исключить чрезмерную чувствительность к изменениям в неопределенности. Для этого предлагается использовать неопределенность произвольного размера, с учетом того, насколько быстро неопределенность может изменяться. Такой подход позволяет адаптировать модель к различным уровням неопределенности, стремясь оптимизировать ее как под нагрузкой, так и в условиях безграничных возможностей. #### Результаты Эксперименты проводятся на наборе данных, где проводится сравнение ARO при различных значениях неопределенности с традиционными моделями. Результаты показали, что применение специфических размеров неопределенности может значительно улучшить стабильность решения, минимизируя риск выхода за границы неопределенности. Метод позволил добиться более устойчивых и эффективных решений в условиях высокой неопределенности, чем стандартные модели. #### Значимость Полученные методы могут быть применены в различных областях, где существуют условия высокой неопределенности, такие как оптимизация цепочек поставок, финансовая планирования и информационные системы. Они обладают рядом преимуществ, включая уменьшение риска ошибок, улучшение моделирования динамических систем и повышение уровня точности решений. Эти достижения могут иметь значительное влияние на развитие методов оптимизации в технических, экономических и технологических системах. #### Выводы В итоге, предложенный подход позволяет улучшить стабильность и эффективность ARO, уменьшая риск overfitting в решениях. Дальнейшие

Abstract

Adaptive robust optimization (ARO) extends static robust optimization by allowing decisions to depend on the realized uncertainty - weakly dominating static solutions within the modeled uncertainty set. However, ARO makes previous constraints that were independent of uncertainty now dependent, making it vulnerable to additional infeasibilities when realizations fall outside the uncertainty set. This phenomenon of adaptive policies being brittle is analogous to overfitting in machine learning. To mitigate against this, we propose assigning constraint-specific uncertainty set sizes, with harder constraints given stronger probabilistic guarantees. Interpreted through the overfitting lens, this acts as regularization: tighter guarantees shrink adaptive coefficients to ensure stability, while looser ones preserve useful flexibility. This view motivates a principled approach to designing uncertainty sets that balances robustness and adaptivity.

Ссылки и действия