Semantically Guided Adversarial Testing of Vision Models Using Language Models

#### Контекст Визуальные модели, такие как нейронные сети, широко используются в различных областях, но остаются уязвимыми к атакам. Одной из сложных проблем в этой области является целесообразное выбор целевого класса для направленных атак. Целевой класс — это выбранный класс, к которому атакующий склоняет модель. Большинство существующих подходов к выбору целевого класса основываются на случайности, предсказаниях модели или статических семантических ресурсах, что приводит к проблемам интерпретируемости, воспроизводимости и гибкости. Это способствует необходимости разработки более гибких и интерпретируемых методов выбора целевых классов. #### Метод Мы предлагаем подход, основанный на семантическом гидровоздушном силовом аппарате (SGAT), который использует предобученные модели языка и языково-визуальных моделей для выбора целевого класса. Методология включает в себя перенос познаний между моделями, что позволяет выбирать классы на основе семантической схожести. Для оценки семантической схожести используются модели BERT, TinyLLAMA и CLIP. Эти модели предоставляют кросс-модальные представления для определения семантической схожести между целевыми классами и тегом значения, который необходимо отклонить в атаке. #### Результаты Мы проводили эксперименты с тремя различными моделями визуального анализа и пятью методами атак. В ходе этих экспериментов мы определили, что подход SGAT привносит большую гибкость и интерпретируемость в выбор целевых классов. Мы сравнили результаты статических лексикографических баз данных, таких как WordNet, и показали, что SGAT показывает более точные и перспективные результаты в случаях, когда целевые классы находятся далеко от истинного класса. #### Значимость Предлагаемый подход может быть применен в областях безопасности и тестирования визуальных моделей. Он предоставляет более гибкий и интерпретируемый подход к выбору целевых классов, что может привести к более эффективному тестированию моделей. Этот подход также может помочь в создании стандартизированных бенчмарков для адверсарского тестирования, что повысит обобщаемость и воспроизводимость результатов. #### Выводы Мы продемонстрировали, что SGAT является эффективным подходом к выбору целевых классов и позволяет создавать более точные и интерпретируемые адверсарские тесты. В дальнейших исследованиях мы планируем расширить применение этого подхода к другим моделям и данным, а также изучить возможности семантической оценки для других типов моделей и приложений.