The Use of the Simplex Architecture to Enhance Safety in Deep-Learning-Powered Autonomous Systems

## Контекст В последние годы нейронные сети достигли выдающихся результатов в многих задачах, что привело к их использованию в автономных системах, таких как роботы и транспортные средства. Тем не менее, нейронные сети до сих пор недостоверны и чувствительны к различным видам неожиданного поведения, таким как аномальные выборки, изменения распределения, атаки адверсарного характера и другие угрозы. Более того, среды ускорения инференса нейронных сетей часто работают на богатых операционных системах, которые не могут гарантировать определенные свойства времени выполнения и достаточную безопасность. Таким образом, есть необходимость в разработке архитектур, которые могут обеспечить более высокий уровень безопасности, безошибочности и предсказуемости для таких систем. ## Метод Предлагаемая архитектура, названная Simplex, основывается на двух раздельных изолированных доменах, выполняющихся на одной вычислительной платформе. Первый домен отвечает за выполнение нейронных сетей на богатой операционной системе, которая не является достоверной. Второй домен отвечает за выполнение критичных для безопасности функций на более простой операционной системе, которая может обеспечить реальное время. Оба домена соединены с помощью типа-1 гипервизора, который обеспечивает быструю и предсказуемую связь между ними для обмена реального времени данными. Если нейронная сеть в первом домене возвращает недостоверный результат, то второй домен может активировать безопасный резервный модуль для поддержания системы в оперативном режиме. ## Результаты Набор экспериментов, проведенных на двух разных системах управления, подтвердил хорошую работу прототипа Simplex. Одним из экспериментов был контроль робота Furuta, который показал, что модель Simplex может предотвратить некорректное поведение нейронной сети. Второй эксперимент был проведен с ровером, в результате которого показано, что Simplex может обеспечить безопасность транспортных средств в случае неустойчивости нейронных сетей. Таким образом, прототип Simplex доказал свою эффективность в обеспечении безопасности во время исполнения нейронных сетей. ## Значимость Этот подход может быть применен в различных областях, включая автономные транспортные системы, роботы, медицинские устройства и другие системы, где требуется высокая безопасность и надежность. Он обеспечивает большую надежность и безошибочность системы, а также может уменьшить риск повреждения или потери жизни в результате неуправляемого поведения нейронных сетей. Благодаря улучшению безопасности и безошибочности, Simplex является перспективным