Physics-Guided Rectified Flow for Low-light RAW Image Enhancement

2509.08330v1 eess.IV, cs.CV 2025-09-11
Авторы:

Juntai Zeng

Резюме на русском

## Контекст Процесс улучшения изображений, полученных в условиях низкого освещения, представляет собой высокотехнологичную проблему, которая широко применяется в сфере цифровой обработки изображений. Несмотря на то, что подходы, основанные на глубоком обучении, показали перспективу в решении этой задачи, они сталкиваются с ограничениями. Основной проблемой является недостаточная точность в моделировании реального шума сенсоров. Большинство существующих методов ограничиваются моделью простого шума, пропускают центральные аспекты физических процессов генерации шума и не учитывают персональные характеристики производства. Это приводит к неточностям в изображениях, особенно в сложных условиях освещения. Мотивировано этими проблемами, данная работа призвана развить более точную модель шума и применить ее к системе улучшения изображений. ## Метод Работа предлагает новую модель шума, которая включает в себя как добавочный, так и многочленный шум, а также интегрирует физические механизмы генерации шума. Для моделирования шума применяется физическое симулирование на уровне отдельных пикселей, что позволяет учитывать различия в производстве пикселей микросхем. Основная идея заключается в использовании физических механизмов, чтобы получить более точные шумовые модели, которые могут быть использованы в процессе улучшения изображений. Также предложен подход, основанный на ректифицированных потоках, который использует физические сигналы для улучшения изображений. ## Результаты Проведенные эксперименты основывались на созданном датасете LLID, который содержит изображения, полученные в условиях низкого освещения с камерой Sony A7S II. Результаты показали, что предложенная модель превосходит существующие подходы в метриках качества изображений, таких как PSNR и SSIM. Улучшенные изображения имеют более высокий уровень детализации и меньшую помеху по сравнению с другими методами. Это доказывает эффективность новой модели в обработке изображений, полученных в условиях низкого освещения. ## Значимость Предлагаемый подход может быть применен в различных областях, где требуется улучшение изображений в условиях низкого освещения, таких как астрономическая съемка, системы безопасности и мобильные устройства. Он предоставляет более точные и качественные изображения, что может повысить эффективность в различных сферах применения. Благодаря использованию физических моделей, данный подход обеспечивает более надежное и точное улучшение изображений, что делает его ценным для профессиональных и домашних применений. ## Выводы Работа представляет собой значительный

Abstract

Enhancing RAW images captured under low light conditions is a challenging task. Recent deep learning based RAW enhancement methods have shifted from using real paired data to relying on synthetic datasets. These synthetic datasets are typically generated by physically modeling sensor noise, but existing approaches often consider only additive noise, ignore multiplicative components, and rely on global calibration that overlooks pixel level manufacturing variations. As a result, such methods struggle to accurately reproduce real sensor noise. To address these limitations, this paper derives a noise model from the physical noise generation mechanisms that occur under low illumination and proposes a novel composite model that integrates both additive and multiplicative noise. To solve the model, we introduce a physics based per pixel noise simulation and calibration scheme that estimates and synthesizes noise for each individual pixel, thereby overcoming the restrictions of traditional global calibration and capturing spatial noise variations induced by microscopic CMOS manufacturing differences. Motivated by the strong performance of rectified flow methods in image generation and processing, we further combine the physics-based noise synthesis with a rectified flow generative framework and present PGRF a physics-guided rectified flow framework for low light image enhancement. PGRF leverages the ability of rectified flows to model complex data distributions and uses physical guidance to steer the generation toward the desired clean image. To validate the effectiveness of the proposed model, we established the LLID dataset, an indoor low light benchmark captured with the Sony A7S II camera. Experimental results demonstrate that the proposed framework achieves significant improvements in low light RAW image enhancement.

Ссылки и действия