AdaptiveAE: An Adaptive Exposure Strategy for HDR Capturing in Dynamic Scenes

2508.13503v1 cs.CV, eess.IV 2025-08-21
Авторы:

Tianyi Xu, Fan Zhang, Boxin Shi, Tianfan Xue, Yujin Wang

Резюме на русском

## Контекст В последние годы наблюдается повышение интереса к видеосъемке в высоком динамическом диапазоне (HDR), так как это позволяет получить лучшую яркость и цветовые оттенки, воспроизводящиеся на экране. Однако, в динамических сценах, где объекты двигаются, существуют серьезные проблемы. Установить оптимальные значения ISO и скорости затвора (шуттера) очень важно, чтобы избежать шума и моторной смазки, но в существующих методах эти параметры редко учитываются динамическим способом. Данная работа фокусируется на создании нового подхода, который может адаптировать эти значения в реальном времени, чтобы повысить качество HDR-видео в таких сценах. ## Метод Метод, предложенный в работе, называется AdaptiveAE. Он основывается на методе ускоренного обучения с подкреплением (reinforcement learning), который настраивает значения ISO и скорости затвора для каждого кадра видео, оптимизируя качество HDR-изображений. Авторы предлагают интегрировать в процесс обучения модели симуляцию шума и моторной смазки. Это позволяет модели выучивать оптимальные параметры в условиях реальных сцен. Кроме того, алгоритм использует семантическую информацию и исходные данные экспозиции для точного выбора значений. ## Результаты Результаты экспериментов продемонстрировали эффективность AdaptiveAE по сравнению с другими методами в различных условиях. Модель была протестирована на нескольких HDR-видеоданных, включая сцены с движущимися объектами. Эксперименты показали, что AdaptiveAE не только улучшает яркость и цветовую гамму, но и сокращает шум и моторную смазку, даже при движении объектов. Эти результаты указывают на возможность реального времени оптимизации HDR-видео, что является ключевым преимуществом. ## Значимость Предлагаемый подход может быть применен в различных областях, таких как видеосъемка, живой передачей, а также видеоредактирование. Он особенно полезен в сценах со сложной динамикой, где традиционные методы часто дают низкое качество изображений. Эта работа открывает новые возможности для развития HDR-видеотехнологий, улучшая качество видео в реальном времени. ## Выводы Результаты демонстрируют, что AdaptiveAE является новой мощной моделью для HDR-видеосъемки в динамических условиях. Она позволяет повысить качество изображений в реальном времени, уменьшая шум и моторную смазку. Будущие исследования будут направлены на улучшение модели для более сложных сцен, включая тех, которые имеют высокую степень движения и низкое освещение.

Abstract

Mainstream high dynamic range imaging techniques typically rely on fusing multiple images captured with different exposure setups (shutter speed and ISO). A good balance between shutter speed and ISO is crucial for achieving high-quality HDR, as high ISO values introduce significant noise, while long shutter speeds can lead to noticeable motion blur. However, existing methods often overlook the complex interaction between shutter speed and ISO and fail to account for motion blur effects in dynamic scenes. In this work, we propose AdaptiveAE, a reinforcement learning-based method that optimizes the selection of shutter speed and ISO combinations to maximize HDR reconstruction quality in dynamic environments. AdaptiveAE integrates an image synthesis pipeline that incorporates motion blur and noise simulation into our training procedure, leveraging semantic information and exposure histograms. It can adaptively select optimal ISO and shutter speed sequences based on a user-defined exposure time budget, and find a better exposure schedule than traditional solutions. Experimental results across multiple datasets demonstrate that it achieves the state-of-the-art performance.

Ссылки и действия