Distributionally Robust Safety Verification of Neural Networks via Worst-Case CVaR

2509.17413v1 cs.LG, cs.AI, cs.SY, eess.SY, math.OC 2025-09-24
Авторы:

Masako Kishida

Резюме на русском

Да, вот максимально подробное резюме научной статьи: ## Контекст Обеспечение безопасности нейронных сетей при входных неопределенностях является ключевой задачей в области применений, требующих высокой надежности, таких как автоматизированная силовая электросеть, мобильные роботы, искусственный интеллект и т. п. Несмотря на то, что методы нейронных сетей позволяют получать высокоточные решения, их безопасность может быть нарушена из-за непредсказуемых входных данных и маловероятных сценариев, в которых модель может показать серьезную неточность. Методы безопасности, основанные на нейронах, должны учитывать такие риски, чтобы обеспечить надежную работу в критичных ситуациях. В этой статье предлагается расширение существующей модели нейронной сети на базе квадратичных ограничений (QC) и семейства методов семейств семейств семейств (SDP), которые учитывают распределение входных неопределенностей и подстраховываются против рисков, связанных с хвостовыми событиями. Это расширение предоставляет более широкий подход к моделированию и валидации нейронных сетей, учитывая характеристики хвостовых событий. ## Метод Метод, предлагаемый в этой статье, расширяет существующий фреймворк квадратичных ограничений (QC) и семейств семейств (SDP) для нейронной сети, добавляя новый подход к интеграции хвостовой рисков в виде квантильного риска (CVaR). Алгоритм использует момент-подобные амбигуитные множества, которые определяют входные неопределенности методом второго размера, чтобы учесть возможные пространственные и тенденциальные характеристики входных данных. Эти амбигуитные множества описываются тремя основными геометрическими формами: эллипсоидами, полигонами и плоскостями. Эти формы используются для моделирования рисков, которые могут возникнуть во время работы нейронной сети. Данный подход гарантирует, что результаты нейронной сети остаются в пределах приемлемой высокой точности, даже при возникновении хвостовых событий. ## Результаты В ходе экспериментов была проверена эффективность нового подхода на нескольких примерах нейронных сетей, в том числе для задач классификации и реализации подхода к защите нейронных сетей в ситуациях, характеризующихся риском хвостовых событий. Были использованы данные, описывающие различные типы нейронных сетей с различными входными неопределенностями. Результаты показали, что интеграция квантильного риска CVaR позволяет улучшить точность моделирования рисков, относящихся к хвостовым событиям, при этом сохраняется высокая скорость вычислени

Abstract

Ensuring the safety of neural networks under input uncertainty is a fundamental challenge in safety-critical applications. This paper builds on and expands Fazlyab's quadratic-constraint (QC) and semidefinite-programming (SDP) framework for neural network verification to a distributionally robust and tail-risk-aware setting by integrating worst-case Conditional Value-at-Risk (WC-CVaR) over a moment-based ambiguity set with fixed mean and covariance. The resulting conditions remain SDP-checkable and explicitly account for tail risk. This integration broadens input-uncertainty geometry-covering ellipsoids, polytopes, and hyperplanes-and extends applicability to safety-critical domains where tail-event severity matters. Applications to closed-loop reachability of control systems and classification are demonstrated through numerical experiments, illustrating how the risk level $\varepsilon$ trades conservatism for tolerance to tail events-while preserving the computational structure of prior QC/SDP methods for neural network verification and robustness analysis.

Ссылки и действия