FRAME : Comprehensive Risk Assessment Framework for Adversarial Machine Learning Threats

## Контекст Machine learning (ML) системы в последние годы получили широкое развертывание во многих областях, включая финансы, здравоохранение, экономику и производство. Однако эта популярность привёл к появлению угроз, связанных с adversarial machine learning (AML), которые используются для искажения ML-систем с целью получения выгоды вредоносными субъектами. В связи с этим, возрастает необходимость в разработке комплексных методов оценки рисков, связанных с AML, которые могут быть применены к различным ML-системам. Традиционные фреймворки оценки рисков, разработанные для традиционных целей в области кибербезопасности, не могут учесть уникальные характеристики AML-техник, такие как их использование в разных средах и системных зависимостях. Более того, существующие подходы к оценке рисков AML часто ограничиваются зональными решениями, что существенно ограничивает их пригодность к использованию в различных ситуациях. Наша работа предлагает FRAME - полностью автоматизированный фреймворк, который может адресовать эти проблемы и предлагать комплексную оценку рисков AML, применимой к многим системам на основе ML. ## Метод FRAME предлагает новую методологию оценки рисков AML, которая включает в себя три ключевых компонента. Во-первых, она рассматривает специфику среды развёртывания целевой системы. Во-вторых, она позволяет анализировать характеристики различных AML-техник, такие как тип угрозы, методы искажения и степень неустойчивости модели. В-третьих, она использует эмпирические данные из предыдущих исследований для оценки вероятности и возможного воздействия угроз. Для того, чтобы обеспечить более точную оценку, мы также внедрили механизм фиксации вероятности и адаптивный подход, который автоматически адаптирует оценку к конкретной системе. Более того, мы создали большую структурированную базу данных AML-атак, которая позволяет проводить контекстуализированные оценки рисков. Этот подход позволяет FRAME выдавать результаты, которые могут быть использованы непосредственно системными владельцами, даже если у них незначительный технический опыт в области AML. ## Результаты Мы проводили ряд экспериментов для оценки точности FRAME и его адекватности выводам, проведенным экспертами в области AML. Наши эксперименты были проведены на шести различных реальных приложениях, включая обнаружение мошенничества, анализ здоровья, изображения, текста, и т.д. Мы применяли FRAME для оценки рисков в этих приложениях, используя данные из реальных ситуаций, и сравнивали результаты с выводами экспертов. Наши результаты показали, что