One-shot Embroidery Customization via Contrastive LoRA Modulation

#### Контекст Одной из наиболее вызовом в области компьютерного зрения является реализация точного и естественного манипулирования простыми стилями в изображениях. Этот вопрос приобретает усиленную значимость в контексте прикладных задач, таких как оптимизация процессов визуализации в сфере ритейла. Особенно актуальным становится создание универсальных методов для мелких изменений в стиле, например, в текстиле или эмалировке. Несмотря на то, что существуют методы, такие как diffusion models, они имеют ограничения в точности и гибкости при работе с конкретными функциями стиля. Мы предлагаем рассмотреть эту проблему с использованием современных подходов, ориентированных на контрастное обучение и модуляцию LoRA. #### Метод Мы предлагаем усовершенствованный подход к решению задачи мелкой настройки стиля, основанный на контрастном обучении и модификации LoRA. Наше решение включает два этапа модификации: в первом этапе мы разделяем стиль и содержимое с помощью декоупленных представлений предобученных моделей распространения, а во втором этапе применяется самостоятельное расщепление по знаниям. Для этого мы используем архитектуру, основанную на подходе аналогии с изображениями, которая позволяет эффективно выделять и изменять мелкие финерградентные функции стиля. Наш подход также включает в себя инференс-пайплайн, который может принимать как изображения, так и текстовые запросы, чтобы обеспечить более широкую функциональность. #### Результаты Мы проводили эксперименты на нашей собственной коллекции данных, сравнивая нашу модель с другими подходами, такими как diffusion-based и традиционные методы стиля. Наши результаты показывают, что наш подход превосходит существующие решения по точности и возможности применения к различным видам стиля. Мы также проверили нашу модель на других задачах, включая художественный стиль передачи, цветаж и трансформации внешности, получив признаки хорошей общей гибкости и точности. #### Значимость Предлагаемый метод может быть использован в различных промышленных приложениях, таких как тонкая настройка стиля в ритейле, создание текстиля и тканей, а также визуализация продуктов в предпо- продажных процессах. Важное преимущество нашего метода заключается в своей способности декоуплировать четко стиль и содержимое, что обеспечивает более точный и гибкий контроль над процессом манипулирования. Это, в свою очередь, может ускорить процессы разработки и улучшить качество результатов в прикладных задачах. #### Выводы Мы предлагаем новую модель, которая улучшает методы мелкой настройки стиля с помощью контрастного обучения и модификации LoRA. На