Wavelet-Space Super-Resolution for Real-Time Rendering

#### Контекст Область исследования заключается в развитии методов нейронного увеличения разрешения (super-resolution) для реального времени в графических приложениях. Научная проблема заключается в том, что существующие подходы часто страдают от потери точности деталей или неестественности в результатах. Также существует необходимость в увеличении эффективности и качества реализации для оптимизации процесса отрисовки в реальном времени. Мотивируют данную работу требования к высокому качеству изображений в играх и виртуальных реальностях, где необходимо сочетание высокого разрешения с низким временем обработки. #### Метод Методология основывается на использовании представлений волнового пространства (wavelet-space) для улучшения супер-разрешения в графических пайплайнах. Авторы предлагают использовать **стационарную волновой трансформацию (SWT)** для разделения низкочастотных и высокочастотных компонент изображения. Это позволяет сети более эффективно сохранять детали и сохранить структурную согласованность. Архитектура модели включает в себя предсказание коэффициентов волновой трансформации, основанное на пространственных G-буферах и временно упрежденных исторических кадров. Затем эти коэффициенты комбинируются с помощью инверсной волновой синтеза. Модель протестирована на различных типах волновых преобразований и архитектурных вариантах. #### Результаты Экспериментальные исследования проводились на основе данных из игровых сцен. Метод **DFASR c SWT** показал улучшение **PSNR на 1.5 dB** и **реduction LPIPS на 17%** по сравнению с базовой моделью DFASR. Несмотря на дополнительные вычислительные затраты в размере **+24 мс**, сравнение с базовым решением остается приемлемым. Исследования показали, что использование SWT позволяет повысить качество результатов, сохранив реальному времени. Результаты были сравнены с другими подходами и подтвердили эффективность волнового подхода. #### Значимость Полученные результаты открывают путь к улучшению качества изображений в виртуальных реальностях и играх без существенного увеличения вычислительных затрат. Открываются новые возможности для использования волновых преобразований в нейросетевых моделях для реального времени. Это может привести к улучшению графических приложений, особенно в сценариях с высокими требованиями к качеству и низким задержкам. #### Выводы В статье доказано, что волновое пространство является ценной альтернативой RGB-пространству в супер-разрешении для графических приложений. Достижения включают **PSNR-улучшения**, **низкую задержку** и улучшенное качество деталей. В будущем планируется расширить