Demystifying Foreground-Background Memorization in Diffusion Models

#### Контекст Diffusion models (DMs) — модели глубокого обучения, которые генерируют изображения за счет постепенного замены шума на данные. Они показали свою эффективность в задачах, таких как генерация реалистичных изображений. Однако модели DMs также сохраняют возможность реплицировать элементы обучающих данных, что приводит к их воспроизведению во время генерации. Этот эффект, известный как "памятность", может привести к ненамеренной разглашению информации или к нежелательным последствиям, таким как переобучение. Данная проблема вызывает большой интерес, так как она отражает ограничения существующих моделей и их потенциальные опасности. Цель данного исследования — понять, каким образом DMs сохраняют информацию и как можно измерить эту "памятность" в различных режимах генерации. #### Метод Для изучения проблемы "памятности" в DMs была разработана новая метрика, названная Foreground-Background Memorization (FB-Mem). Эта метрика делит генерируемые изображения на фоновые и переднего плана (foreground), что позволяет определить, какие части изображений были получены из обучающих данных. FB-Mem использует сегментацию изображений для точного выделения областей, которые были запомнены моделью. Метод также позволяет классифицировать и измерить степень "памятности" в разных режимах, включая генерацию по заданному стимулу. Эта новая метрика значительно расширяет понимание "памятности" в DMs, позволяя выявить не только полное воспроизведение изображений, но и частичный клонирование регионов, включая локальные участки образов. #### Результаты Исследователи применили FB-Mem к нескольким моделям DMs и обнаружили, что "памятность" в действительности шире, чем предполагалось. Модели не только воспроизводят целые изображения, но и запоминают отдельные участки, такие как лица основных персонажей или детали фона. Даже при использовании различных методов модельного урезания, таких как удаление нейронов или преобразования слоев, "памятность" в локальных регионах остается в силе. Также наблюдалось, что некоторые изображения могут быть сгенерированы из нескольких похожих обучающих примеров, что указывает на сложные модели памяти, которые не ограничиваются одно-к-одному соответствием между обучением и генерацией. #### Значимость Результаты данного исследования имеют важное значение для области безопасности и приватности в области генерируемых моделей. Запечатанная информация, которая может быть воспроизведена моделями DMs, представляет собой огромный риск для конфиденциальности пользователей. Благодаря FB-Mem, модели могут быть более транспарентны,