Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation

## Контекст Рекуррентные нейронные сети (RNN) широко используются в системах управления, включая модели прогнозирования (MPC) и другие приложения в области систем с ограниченными ресурсами. Однако, в ситуациях, когда такие сети применяются в безопасности-критичных задачах, возникают проблемы с обеспечением их устойчивости к входным помехам и адверсарским вмешательствам. Это становится особенно важно в системах, где необходимо управлять входящими данными или предсказывать динамику в ситуациях, характеризующихся значительными зависимостями от предыдущих состояний. Для обеспечения эффективного и безопасного применения RNN в таких ситуациях необходимо разработать методы, которые могут эффективно оценивать их стабильность и подверженность ошибкам. ## Метод Мы предлагаем RNN-SDP, метод, основанный на семействе методов релаксации, для точной оценки Lipschitz-константы RNN. У нас есть два основных шага. Во-первых, мы представляем взаимодействия слоев в сети как линейную задачу и используем технику **convex relaxation**, чтобы преобразовать проблему в задачу **semidefinite programming (SDP)**. Это позволяет нам вычислять центральную оценку для Lipschitz-константы. Во-вторых, мы расширяем этот подход, включая в расчеты начальные ошибки или иные ограничения на входные данные, чтобы получить более точные и прикладному понятию близкие оценки. Эта методика позволяет сделать центральную оценку Lipschitz-константы более достоверной и полезной для анализа стабильности сети в различных сценариях. ## Результаты Мы проводили эксперименты на синтетической системе с несколькими танками, где производились сравнения центральных оценок Lipschitz-констант с полученными в результате эмпирических испытаний. Наши результаты показали, что для небольших последовательностей входных данных, RNN-SDP подход довольно точно оценивает Lipschitz-константы, при этом применение ограничений на входные данные приводит к незначительному улучшению точности. Однако, главное достижение заключается в том, что даже при увеличении последовательности входных данных, RNN-SDP по-прежнему предоставляет достаточно точные и центральные оценки Lipschitz-константы. Это особенно важно для приложений, таких как MPC, где модель часто перезапускается, и начальные ошибки могут иметь существенное влияние на результаты. ## Значимость Предложенный подход имеет широкое применение в ситуациях, где необходимо гарантировать устойчивость RNN в системах с ограниченными ресурсами, таких как модели прогнозирования в ситуациях, характеризующихся высокой динамикой. Особенно полезен RNN-SDP в средах, где начальные ошибки могут существенно пов