Learning to See Through Flare

#### Контекст Актуальность исследования связана с ростом требований к надежности и развитию машинного зрения в условиях высокоинтенсивного лазерного излучения. Лазерное замирание (flare) является серьезной проблемой для компьютерного зрения, приводящей к перегруженности или повреждению сенсорных пикселей. Данная проблема широко распространена в сферах, где используется видеонаблюдение, автономное управление, а также в задачах обороны, где лазерное излучение может использоваться как оружие. Недостаток в существующих решениях заключается в том, что они не могут обеспечить полную защиту во всем видимом спектре и являются неэффективными в условиях динамически изменяющихся лазерных параметров. #### Метод Разработанный фреймворк NeuSee представляет собой сочетание новых подходов в машинном зрении и интенсивного лазерного излучения. Основной компонентой является diffractive optical element (DOE), разработанное с помощью глубоких нейронных сетей. Этот DOE предназначен для того, чтобы воспринимать и манипулировать лазерным излучением до его воздействия на сенсорные пиксели. Кроме того, господствующей роль в фреймворке играет Мamba-GAN, новый генеративный адверсарный сетевой подход. Он позволяет восстанавливать изображения, поражённые лазером, с высоким разрешением и подробностью. Фреймворк NeuSee использует многоуровневую архитектуру, которая работает в режиме реального времени и адаптивно приспосабливается к изменениям в лазерных параметрах. #### Результаты Система была тщательно тестирована на наборе данных, содержащим 100 000 уникальных изображений, как с лазерным излучением, так и без него. Использовавшиеся методы позволили сократить пик максимального лазерного излучения до 10 миллионов раз выше порога перегрузки сенсорного пикселя. Эксперименты показали, что Новый подход обеспечивает высокую точность восстановления изображений при минимальном ущербе качеству изображения. Также было проведено сравнение с другими подходами, что подтвердило превосходство NeuSee в спектре полного диапазона видимого света. #### Значимость Данный подход может быть применен в различных областях, включая навигацию автомобилей без водителя, системы безопасности, технику медицинской визуализации и оборонные технологии. НеуSee предоставляет уникальные преимущества, такие как защита от лазерного замирания во всем видимом спектре, повышенная точность восстановления изображений и гибкость в условиях различных сцен. Будущие исследования будут направлены на улучшение системы для большего разрешения изображений и расширения её приложений в иску