Safe-Control: A Safety Patch for Mitigating Unsafe Content in Text-to-Image Generation Models
2508.21099v1
cs.CV, cs.AI, cs.CR
2025-09-02
Авторы:
Xiangtao Meng, Yingkai Dong, Ning Yu, Li Wang, Zheng Li, Shanqing Guo
Резюме на русском
#### Контекст
Текстово-изображенческие (Text-to-Image, T2I) генерирующие модели позволяют автоматически создавать изображения на основе текстовых описаний. Однако эти модели не освобождены от риска использования в ущемлении, нарушении закона или других негативных целях. Например, модели могут генерировать вредоносное изображение в ответ на вредоносное запроса, что создает серьёзные безопасности. Этот факт делает необходимым развитие систем, которые могут эффективно снижать риск генерирования небезопасного контента. Несмотря на усилия разработчиков моделей, существующие системы безопасности остаются либо разрушимыми под условиями распространения, либо требуют значительных модификаций модели. Это стремится устранить Safe-Control, предложив новый подход к безопасности для T2I-моделей.
#### Метод
Safe-Control представляет собой новую систему безопасности, которая может быть добавлена в существующую модель T2I без необходимости серьёзных модификаций. Её основная идея заключается в использовании данных-основанных стратегий для создания "патчей" безопасности, которые могут адаптироваться к различным моделям. Это достигается путём внедрения специальных управляющих сигналов, которые могут снизить вероятность генерирования вредоносного контента. Метод Safe-Control базируется на технике плагинов, что позволяет ему быть легко применимым к различным моделям с одинаковой архитектурой. Таким образом, можно создавать различные патчи для разных моделей и объединять их в один универсальный.
#### Результаты
В ходе исследования были проанализированы шесть различных текстово-изображенческих моделей с одинаковой архитектурой. Метод Safe-Control был протестирован на генерировании изображений в условиях вредоносных запросов и атак, а также в условиях нормального использования. Результаты показали, что Safe-Control эффективно снижает вероятность генерирования небезопасного контента до 7%, что значительно ниже уровня, достигнутого другими существующими методами (которые в среднем отдают 20%). В то же время, Safe-Control не приводит к потерям в качестве изображения или убыванию текстовой привязки.
#### Значимость
Safe-Control может применяться в различных областях, где необходимо уменьшить риск генерирования вредоносного контента. Это могут быть системы генерирования изображений для учёбы, развлечений, или даже для безопасного использования в коммерческих проектах. Safe-Control обладает высокой гибкостью и может быть адаптирован для разных моделей, что сделает его полезным для различных сценариев использования. Этот подход может способст
Abstract
Despite the advancements in Text-to-Image (T2I) generation models, their
potential for misuse or even abuse raises serious safety concerns. Model
developers have made tremendous efforts to introduce safety mechanisms that can
address these concerns in T2I models. However, the existing safety mechanisms,
whether external or internal, either remain susceptible to evasion under
distribution shifts or require extensive model-specific adjustments. To address
these limitations, we introduce Safe-Control, an innovative plug-and-play
safety patch designed to mitigate unsafe content generation in T2I models.
Using data-driven strategies and safety-aware conditions, Safe-Control injects
safety control signals into the locked T2I model, acting as an update in a
patch-like manner. Model developers can also construct various safety patches
to meet the evolving safety requirements, which can be flexibly merged into a
single, unified patch. Its plug-and-play design further ensures adaptability,
making it compatible with other T2I models of similar denoising architecture.
We conduct extensive evaluations on six diverse and public T2I models.
Empirical results highlight that Safe-Control is effective in reducing unsafe
content generation across six diverse T2I models with similar generative
architectures, yet it successfully maintains the quality and text alignment of
benign images. Compared to seven state-of-the-art safety mechanisms, including
both external and internal defenses, Safe-Control significantly outperforms all
baselines in reducing unsafe content generation. For example, it reduces the
probability of unsafe content generation to 7%, compared to approximately 20%
for most baseline methods, under both unsafe prompts and the latest adversarial
attacks.
Ссылки и действия
Дополнительные ресурсы: