Robust Convolution Neural ODEs via Contractivity-promoting regularization

## Контекст Одной из основных проблем в сфере нейронных сетей является их уязвимость к шумам и атакам, которые могут привести к ошибкам в решении задач. Это проблема особенно актуальна для сетей с неустойчивым динамическим поведением. Таким образом, целью этого исследования является развитие методов, позволяющих улучшить устойчивость нейронных сетей к внешним помехам. Исследование сфокусировано на Convolutional Neural Ordinary Differential Equations (NODEs), которые представляют собой непрерывные в глубину модели, основанные на динамических системах. Эти модели обладают потенциалом для повышения устойчивости, однако требуется разработка специальных методик для их реализации. Целью работы является исследование возможности использования теории контрактивности для улучшения вывода и устойчивости таких моделей. ## Метод Для решения задачи улучшения устойчивости используется теория контрактивности, которая определяет свойство динамических систем, при котором две начально различные точки сходятся друг к другу с экспоненциальной скоростью. Для реализации этого подхода в Convolutional NODEs используется регуляризация с учетом Якобиана динамической системы. Это позволяет уменьшить потенциальные отклонения в выводе, связанные с небольшими сдвигами входных данных. Более того, для уменьшения вычислительных затрат предлагается использовать весовую регуляризацию для NODEs с ограниченными функциями активации. Этот подход позволяет сохранить свойство контрактивности, не ухудшая производительность модели. ## Результаты Запускались эксперименты на MNIST и FashionMNIST датасетах, где изображения были испорчены различными типами шумов и атаками. На основе результатов можно сделать вывод о том, что предложенная регуляризационная стратегия позволяет значительно повысить устойчивость NODEs к внешним помехам. Эксперименты показали, что подавление контрактивности приводит к существенному улучшению вывода в условиях шумов и атак. Также был показан эффект взвешенной регуляризации, которая уменьшает вычислительные затраты, не ухудшая качество модели. ## Значимость Результаты демонстрируют, что предлагаемый подход может иметь широкие применения в области компьютерного зрения и технологий обработки информации. Улучшенная устойчивость моделей к внешним помехам может привести к более надежным решениям в задачах классификации изображений и других типов задач. Особенно важным может быть применение этого подхода в задачах, где необходима высокая точность и стабильность работы модели в условиях шума и атак. Будущие исследования будут сфокусированы на расширении этого подхода на другие типы нейронных сетей и задач. ## Вы