Physics-Guided Rectified Flow for Low-light RAW Image Enhancement
2509.08330v1
eess.IV, cs.CV
2025-09-11
Авторы:
Juntai Zeng
Резюме на русском
## Контекст
Процесс улучшения изображений, полученных в условиях низкого освещения, представляет собой высокотехнологичную проблему, которая широко применяется в сфере цифровой обработки изображений. Несмотря на то, что подходы, основанные на глубоком обучении, показали перспективу в решении этой задачи, они сталкиваются с ограничениями. Основной проблемой является недостаточная точность в моделировании реального шума сенсоров. Большинство существующих методов ограничиваются моделью простого шума, пропускают центральные аспекты физических процессов генерации шума и не учитывают персональные характеристики производства. Это приводит к неточностям в изображениях, особенно в сложных условиях освещения. Мотивировано этими проблемами, данная работа призвана развить более точную модель шума и применить ее к системе улучшения изображений.
## Метод
Работа предлагает новую модель шума, которая включает в себя как добавочный, так и многочленный шум, а также интегрирует физические механизмы генерации шума. Для моделирования шума применяется физическое симулирование на уровне отдельных пикселей, что позволяет учитывать различия в производстве пикселей микросхем. Основная идея заключается в использовании физических механизмов, чтобы получить более точные шумовые модели, которые могут быть использованы в процессе улучшения изображений. Также предложен подход, основанный на ректифицированных потоках, который использует физические сигналы для улучшения изображений.
## Результаты
Проведенные эксперименты основывались на созданном датасете LLID, который содержит изображения, полученные в условиях низкого освещения с камерой Sony A7S II. Результаты показали, что предложенная модель превосходит существующие подходы в метриках качества изображений, таких как PSNR и SSIM. Улучшенные изображения имеют более высокий уровень детализации и меньшую помеху по сравнению с другими методами. Это доказывает эффективность новой модели в обработке изображений, полученных в условиях низкого освещения.
## Значимость
Предлагаемый подход может быть применен в различных областях, где требуется улучшение изображений в условиях низкого освещения, таких как астрономическая съемка, системы безопасности и мобильные устройства. Он предоставляет более точные и качественные изображения, что может повысить эффективность в различных сферах применения. Благодаря использованию физических моделей, данный подход обеспечивает более надежное и точное улучшение изображений, что делает его ценным для профессиональных и домашних применений.
## Выводы
Работа представляет собой значительный
Abstract
Enhancing RAW images captured under low light conditions is a challenging
task. Recent deep learning based RAW enhancement methods have shifted from
using real paired data to relying on synthetic datasets. These synthetic
datasets are typically generated by physically modeling sensor noise, but
existing approaches often consider only additive noise, ignore multiplicative
components, and rely on global calibration that overlooks pixel level
manufacturing variations. As a result, such methods struggle to accurately
reproduce real sensor noise. To address these limitations, this paper derives a
noise model from the physical noise generation mechanisms that occur under low
illumination and proposes a novel composite model that integrates both additive
and multiplicative noise. To solve the model, we introduce a physics based per
pixel noise simulation and calibration scheme that estimates and synthesizes
noise for each individual pixel, thereby overcoming the restrictions of
traditional global calibration and capturing spatial noise variations induced
by microscopic CMOS manufacturing differences. Motivated by the strong
performance of rectified flow methods in image generation and processing, we
further combine the physics-based noise synthesis with a rectified flow
generative framework and present PGRF a physics-guided rectified flow framework
for low light image enhancement. PGRF leverages the ability of rectified flows
to model complex data distributions and uses physical guidance to steer the
generation toward the desired clean image. To validate the effectiveness of the
proposed model, we established the LLID dataset, an indoor low light benchmark
captured with the Sony A7S II camera. Experimental results demonstrate that the
proposed framework achieves significant improvements in low light RAW image
enhancement.
Ссылки и действия
Дополнительные ресурсы: