RED: Robust Event-Guided Motion Deblurring with Modality-Specific Disentangled Representation

## Контекст Event cameras, такие как Dynamic Vision Sensors (DVS), предлагают возможность получения данных с высокой частотой кадров и низким задержанием, что делает их полезными для задач, таких как движение деблюринга. Однако существуют значительные проблемы, связанные с интерпретацией этих данных. Например, динамические сенсоры DVS используют трейдоff между чувствительностью и шумом, что приводит к повреждению и потере важных деталей в потоке событий. Это ограничивает эффективность существующих методов, которые не полностью учитывают эти ограничения. Мотивация заключается в развитии метода, который бы способствовал более точному и надежному использованию данных event-based, преодолевая эти узкие места. ## Метод Наша подходящая методика, называемая Robust Event-guided Deblurring (RED), имеет две основные компоненты. Во-первых, мы вводим "Robustness-Oriented Perturbation Strategy" (RPS), которая применяет случайную маскировку к событиям, обучая модель, как справиться с неполными данными. Во-вторых, мы предлагаем модуль OmniAttention, который моделирует интра-модальные, inters-модальные и потоковые корреляции от двух различных, но дополняющих друг друга источников: туманные изображения и частично поврежденные события. Эти модели расширяются на два модуля: один, улучшающий движущиеся области на туманных изображениях, и другой, внедряющий семантический контекст в неполные представления событий. ## Результаты Мы проводили эксперименты на обе synthetics так и реальных данных, выбрав несколько метрик для оценки точности и надежности результатов. RED показал значительный прогресс по сравнению с современными методами, показывая стабильно высокую точность в различных условиях. Мы также провели обширные анализы, чтобы доказать точность и надежность нашего подхода в случаях с незначительными и существенными изменениями в условиях. ## Значимость Подход RED имеет потенциал для применения в различных областях, таких как робототехника, детектирование объектов и анализ движения в реальном времени. Он предоставляет более надежную и точную интерпретацию данных event-based, что может улучшить различные приложения, от безопасности до того, как организмы осуществляют движение. Наши выводы указывают на будущие направления исследований, включая расширение модели для работы с более сложными сценариями и выравнивание синхронизации между event-based и RGB-изображениями. ## Выводы В итоге, RED представляет собой продвинутый подход к движущемуся деблюрингу, который эффективно справляется с трудностями, связанными с данными event-based. Наш метод показал значительные достижения в точности и надежности, демонстрируя расширенную способность интерпретировать и исполь