SAM Encoder Breach by Adversarial Simplicial Complex Triggers Downstream Model Failures
2508.06127v1
cs.CV, I.4.9
2025-08-12
Авторы:
Yi Qin, Rui Wang, Tao Huang, Tong Xiao, Liping Jing
Резюме на русском
## Контекст
Область исследования сосредоточена на возможностях и уязвимостях Segment Anything Model (SAM), новой модели разделения изображений, которая предлагает нулевой шаг обучения для интерактивной сегментации. SAM широко применяется в различных задачах, но, несмотря на ее прорывные возможности, она не освобождается от уязвимостей. Эти уязвимости могут привести к сбоям во многих приложениях, которые основываются на ней. Особенно критична уязвимость SAM при передаче в различных доменах, так как это может повлиять на качество работы вспомогательных моделей, которые зависят от нее. В связи с этим, возникает необходимость в поиске решений, которые могут не только выявить эти уязвимости, но и оценить их распространенность и влияние на различные модели.
## Метод
Мы предлагаем Vertex-Refining Simplicial Complex Attack (VeSCA), новую методику для генерации трансфертных адверсарных примеров, ориентированных на SAM. Метод VeSCA основывается на использовании только энкодера SAM для построения общих уязвимых регионов между SAM и доростолей. Основная идея заключается в использовании параметрического симплициального комплекса, который моделирует эти уязвимые области в виде "вершин" (узлов), экспериментируя с их сочетаниями. Для того, чтобы обеспечить эффективность и трансфертность, VeSCA применяет итеративную рефининг-методику для точного определения этих узлов. Дополнительно, мы предлагаем легковесную стратегию переподготовки домена, использующую минимальный объем референсных данных, что позволяет уменьшить различия между доменами. В конце концов, VeSCA строит трансфертные адверсарные примеры, используя случайно сэмплированные комплексы, чтобы обеспечить единообразие результатов и высокую трансфертность.
## Результаты
Мы провели исследования на трех классах доростолей и пяти различных доменных датасетах, чтобы оценить эффективность VeSCA. В результате, наш метод показал улучшение производительности на 12.7% в сравнении с состояниями технологий (state-of-the-art) в трех различных категориях моделей. Эксперименты также показали, что VeSCA эффективно генерирует трансфертные примеры, которые могут атаковать различные модели, включая тонкие модели, сборки и другие. Также, наши результаты подчеркивают риски, которые SAM представляет для доростолей, и подтверждают необходимость создания более надежных фундаментальных моделей, которые могут справиться с такими угрозами.
## Значимость
Наша работа имеет значимость в нескольких областях. Во-первых, она позволяет выявить и анализировать уязвимости SAM в различных сферах применения, в том числе в задачах распознавания изображений, обработки текста и других. Во-вторы
Abstract
While the Segment Anything Model (SAM) transforms interactive segmentation
with zero-shot abilities, its inherent vulnerabilities present a single-point
risk, potentially leading to the failure of numerous downstream applications.
Proactively evaluating these transferable vulnerabilities is thus imperative.
Prior adversarial attacks on SAM often present limited transferability due to
insufficient exploration of common weakness across domains. To address this, we
propose Vertex-Refining Simplicial Complex Attack (VeSCA), a novel method that
leverages only the encoder of SAM for generating transferable adversarial
examples. Specifically, it achieves this by explicitly characterizing the
shared vulnerable regions between SAM and downstream models through a
parametric simplicial complex. Our goal is to identify such complexes within
adversarially potent regions by iterative vertex-wise refinement. A lightweight
domain re-adaptation strategy is introduced to bridge domain divergence using
minimal reference data during the initialization of simplicial complex.
Ultimately, VeSCA generates consistently transferable adversarial examples
through random simplicial complex sampling. Extensive experiments demonstrate
that VeSCA achieves performance improved by 12.7% compared to state-of-the-art
methods across three downstream model categories across five domain-specific
datasets. Our findings further highlight the downstream model risks posed by
SAM's vulnerabilities and emphasize the urgency of developing more robust
foundation models.
Ссылки и действия
Дополнительные ресурсы: