Time-Aware One Step Diffusion Network for Real-World Image Super-Resolution

#### Контекст Real-world image super-resolution (Real-ISR) является ключевым заданием в области компьютерного зрения, нацеленным на повышение разрешения изображений с ограниченным качеством. Несмотря на успех многих текущих методов, они часто сталкиваются с проблемами, такими как нехватка эффективности в использовании существующих моделей и недостаточная точность в работе с реальными данными. Актуальность данного исследования заключается в поиске новых подходов, которые могут эффективно использовать предварительно обученные модели моделирования шума (стабильное моделирование шума, SD) для решения Real-ISR. #### Метод Мы предлагаем Time-Aware One-Step Diffusion Network (TADSR) для решения Real-ISR. Главная инновация заключается в использовании Time-Aware VAE Encoder, который вводит временное зависимости в процесс выделения признаков. Это позволяет модели работать с разными шумовыми версиями изображений в зависимости от шага шума (timestep). Кроме того, мы предлагаем Time-Aware VSD loss, который динамически коррелирует шаги шума степени степенисти между студентской моделью и предварительно обученной моделью. Это позволяет лучше оптимизировать синтез изображений, стабилизировав результат и улучшая качество изображения. #### Результаты Мы провели эксперименты на широко известных наборах данных для Real-ISR. Метод TADSR демонстрирует выдающиеся результаты по сравнению с другими методами одношагового подхода. Мы измерили показатели PSNR, SSIM и LPIPS, показав, что наш подход превосходит другие методы по этим метрикам. Благодаря возможности управления шагами шума (timestep), TADSR также обеспечивает контролируемую точность и реализм в результатах. #### Значимость Наш подход может быть применен в различных сценариях, включая супер-разрешение для телекоммуникаций, медицины и видеотрансляций. Преимущества TADSR заключаются в том, что он эффективно использует предварительно обученные модели, не требуя дополнительного обучения или переобучения. Это приводит к повышению эффективности и снижению затрат на ресурсы. Будущие исследования будут направлены на расширение модели для работы с видео и мультискайрным подходом. #### Выводы Метод TADSR доказал свою эффективность в решении Real-ISR, достигнув более высокого качества изображений с меньшими вычислительными затратами. Наши результаты показывают, что динамические временные зависимости и управляемые шаги шума являются ключевыми факторами улучшения результатов. Мы планируем расширить модель для применения в других областях и внедрить ее в реальные системы.