Distributionally Robust Safety Verification of Neural Networks via Worst-Case CVaR
2509.17413v1
cs.LG, cs.AI, cs.SY, eess.SY, math.OC
2025-09-24
Авторы:
Masako Kishida
Резюме на русском
Да, вот максимально подробное резюме научной статьи:
## Контекст
Обеспечение безопасности нейронных сетей при входных неопределенностях является ключевой задачей в области применений, требующих высокой надежности, таких как автоматизированная силовая электросеть, мобильные роботы, искусственный интеллект и т. п. Несмотря на то, что методы нейронных сетей позволяют получать высокоточные решения, их безопасность может быть нарушена из-за непредсказуемых входных данных и маловероятных сценариев, в которых модель может показать серьезную неточность. Методы безопасности, основанные на нейронах, должны учитывать такие риски, чтобы обеспечить надежную работу в критичных ситуациях. В этой статье предлагается расширение существующей модели нейронной сети на базе квадратичных ограничений (QC) и семейства методов семейств семейств семейств (SDP), которые учитывают распределение входных неопределенностей и подстраховываются против рисков, связанных с хвостовыми событиями. Это расширение предоставляет более широкий подход к моделированию и валидации нейронных сетей, учитывая характеристики хвостовых событий.
## Метод
Метод, предлагаемый в этой статье, расширяет существующий фреймворк квадратичных ограничений (QC) и семейств семейств (SDP) для нейронной сети, добавляя новый подход к интеграции хвостовой рисков в виде квантильного риска (CVaR). Алгоритм использует момент-подобные амбигуитные множества, которые определяют входные неопределенности методом второго размера, чтобы учесть возможные пространственные и тенденциальные характеристики входных данных. Эти амбигуитные множества описываются тремя основными геометрическими формами: эллипсоидами, полигонами и плоскостями. Эти формы используются для моделирования рисков, которые могут возникнуть во время работы нейронной сети. Данный подход гарантирует, что результаты нейронной сети остаются в пределах приемлемой высокой точности, даже при возникновении хвостовых событий.
## Результаты
В ходе экспериментов была проверена эффективность нового подхода на нескольких примерах нейронных сетей, в том числе для задач классификации и реализации подхода к защите нейронных сетей в ситуациях, характеризующихся риском хвостовых событий. Были использованы данные, описывающие различные типы нейронных сетей с различными входными неопределенностями. Результаты показали, что интеграция квантильного риска CVaR позволяет улучшить точность моделирования рисков, относящихся к хвостовым событиям, при этом сохраняется высокая скорость вычислени
Abstract
Ensuring the safety of neural networks under input uncertainty is a
fundamental challenge in safety-critical applications. This paper builds on and
expands Fazlyab's quadratic-constraint (QC) and semidefinite-programming (SDP)
framework for neural network verification to a distributionally robust and
tail-risk-aware setting by integrating worst-case Conditional Value-at-Risk
(WC-CVaR) over a moment-based ambiguity set with fixed mean and covariance. The
resulting conditions remain SDP-checkable and explicitly account for tail risk.
This integration broadens input-uncertainty geometry-covering ellipsoids,
polytopes, and hyperplanes-and extends applicability to safety-critical domains
where tail-event severity matters. Applications to closed-loop reachability of
control systems and classification are demonstrated through numerical
experiments, illustrating how the risk level $\varepsilon$ trades conservatism
for tolerance to tail events-while preserving the computational structure of
prior QC/SDP methods for neural network verification and robustness analysis.