Inference Time Debiasing Concepts in Diffusion Models

## Контекст Текстово-изображенческие модели генерации, основанные на технологии распространения (diffusion models), стали широко применяться для генерирования изображений на основе текстовых подсказок. Однако эти модели часто отображают сильные биазы, основанные на гендерных, этнических и возрастных атрибутах. Эти биазы могут привести к несправедливости и дискриминации в создаваемых изображениях, что нарушает принципы юмора и убедительности в большинстве сценариев. Несмотря на то, что существуют методы по борьбе с биазами в глубинных сетях, они либо требуют сложных модификаций моделей, либо оказываются трудоемкими в реализации и неэффективны в области генерации изображений. ## Метод Мы предлагаем DeCoDi — метод, изменяющий процедуру инференса в распространяющих моделях без изменения их основного обучения. Метод DeCoDi предназначен для создания цифровых изображений и базируется на добавлении специальных шумовых слоёв, изменяющих процесс распространения. Это позволяет избежать отбора признаков, связанных с заранее определёнными биазами. Данный подход оставляет неизменными слои модели, которые создают изображение, и не увеличивает вычислительные затраты. Благодаря этому, DeCoDi может быть легко интегрирован в любую модель распространения. ## Результаты Дебиазированое текстово-изображеческое генерирование произведено для трёх сценариев: гендер, этничность и возраст. Обучение проводилось на трёх наборах данных: Gender, Ethnicity, и Age. Чтобы оценить эффективность, изображения были проанализированы двумя независимыми оценщиками, которые оценили 1200 сгенерированных изображений на наличие биаз. Метриками оценки были разные реалии каждого сценария. Также проведена автоматическая оценка биаз с помощью GPT-4o. Результаты показали, что метод DeCoDi эффективно подавляет биазы, существующие в оригинальных моделях, с незначительными изменениями в качестве изображений. ## Значимость Метод DeCoDi может использоваться в широком кругу приложений, включая создание расширенных визуальных ресурсов, улучшение систем поиска изображений, и создание более универсальных текстово-изображечных моделей. Он предоставляет преимущество в своей простоте и независимости от изменений в модели. Также он может способствовать более честному использованию изображений в цифровых продуктах. ## Выводы Метод DeCoDi доказывает свою эффективность в дебиазировании текстово-изображительных моделей, основанных на распространении. Он легко интегрируется в существующие модели и не требует значительных изменений, что делает его