OptMark: Robust Multi-bit Diffusion Watermarking via Inference Time Optimization

## Контекст Во всемирной сети растет число генерируемых изображений с помощью различных моделей глубокого обучения, включая модели diffusion. Однако владельцы авторских прав используют такие изображения для предотвращения несанкционированного использования и подтверждения авторства. Для этих целей часто применяются методы watermarking. Однако существующие подходы, основанные на diffusive generative models, сталкиваются с проблемами: zero-bit watermarking не подходит для широкомасштабного трекинга, в том числе для отслеживания пользователей, а multi-bit watermarking чрезвычайно чувствителен к изображениям, полученным с помощью различных генеративных методов или технических преобразований. Это приводит к необходимости создания метода, объединяющего в себе широкий объем возможностей для трекинга и высокую стойкость к генеративным и техническим атакам. ## Метод Мы предлагаем OptMark — метод, основанный на оптимизации, который вставляет multi-bit watermark в intermediate latents (результаты работы нейронной сети) в процессе работы diffusion model. Оптимизация взаимодействует с двумя видами watermark: структурным (для работы в условиях генеративных атак) и детальным (для выноса технических преобразований). Для защиты от атак регулирует применение регуляризации, которая позволяет сохранить качество изображения и их невидимость. Для решения проблемы вычислительной сложности, связанной с линейным ростом потребления памяти при оптимизации в зависимости от числа шагов денойсинга, мы используем adjoint gradient methods, которые существенно уменьшают объем памяти до O(1) вместо O(N). ## Результаты Мы проверили OptMark на различных видах атак, включая geometric transformations, editing attacks, regeneration attacks и valuemetric transformations. Метод показал высокую стойкость и невидимость watermark в тестовых условиях. Мы также сравнили OptMark с другими подходами, показав лучший результат в области robustness и imperceptibility. Эксперименты проводились на различных датасетах, и результаты подтвердили высокую эффективность метода в различных тестовых условиях. ## Значимость Метод OptMark широко применим в области защиты авторских прав и трекинга пользователей в контексте application-specific generative models. Он обеспечивает высокую стойкость к различным атакам и невидимость watermark на финальных изображениях. Решение, основанное на adjoint gradient methods, позволяет эффективно решать проблему вычислительной сложности, делая OptMark выгодным для практического применения. Этот подход может стать ключевым инструментом для защиты авторских прав в генеративных моделях. ## Выводы Мы предложили OptMark — новый подход к multi-bit watermarking для diffusion-generated images. Он обеспечивает высокую стойкость к различным атакам и невидимость watermark. Наш экспериментальный анализ показал, что OptMark эффективен в решении задач watermarking в различных услови