Event Spectroscopy: Event-based Multispectral and Depth Sensing using Structured Light
2509.06741v1
cs.CV, cs.RO
2025-09-10
Авторы:
Christian Geckeler, Niklas Neugebauer, Manasi Muglikar, Davide Scaramuzza, Stefano Mintchev
Резюме на русском
## Контекст
Одна из ключевых задач, стоящих перед непосредственно воздушными транспортными средствами без экипажа (UAV) в природных условиях, состоит в том, чтобы обеспечить безопасность при полете и эффективно выполнять сбор данных в сложных средах, таких как лесные каньоны. В настоящее время используются различные системы зрения, включая многопроцессорные RGB-камеры и многоспектральные датчики, но они страдают от недостатка скорости, недостаточной точности дистанционного определения расстояния (Depth) и повышенной зависимости от освещенности окружающей среды. Эти ограничения становятся критичными при выполнении задач, таких как обнаружение и классификация растений в достаточно плотных лесах. Исследователи разработали новую методику под названием Event Spectroscopy, которая объединяет в себе высокоразрешенное зрение, низкую задержку и разрешение в глубину, полученное с помощью проекции структурированного света. Она также может одновременно замерять спектральные данные в диапазоне от 650 до 850 нм. Эта технология может существенно улучшить возможности UAV в регионах с труднопроницаемыми покровами леса.
## Метод
Система Event Spectroscopy состоит в том, как структурированный свет проецируется на объект, и как отраженный свет анализируется, чтобы извлечь информацию о глубине и спектре. Основной идеей лежит в том, чтобы использовать проекцию света с разными длинами волн для получения множества спектральных каналов. Это позволяет одновременно получить очень точную информацию о глубине и спектр. Данные сигналов собираются компактным сенсором, который предназначен для быстрого и точного обработки. Эта система может использоваться в реальном времени и требует минимального вычислительного мощности, что делает ее пригодной для применения на беспилотных летательных аппаратах.
## Результаты
В ходе исследования, проведенного в различных условиях, включая лабораторные и реальные леса, было показано, что Event Spectroscopy позволяет получить более точные расчеты глубины (Depth) по сравнению с традиционными методами. Например, наблюдалось до 60% снижения ошибок в оценке глубины в сравнении с коммерческими датчиками. Также было показано, что система предоставляет высококачественные спектральные данные, которые могут быть использованы для различения материалов, таких как листья и ветви деревьев. Одной из важных находок является то, что при добавлении данных о глубине, полученных с помощью этой системы, улучшается точность идентификации материалов до 30%. Эти результаты были получены как в условиях лаборатории, так и в лесу Масоалы (Масоала Рейнфорест),
Abstract
Uncrewed aerial vehicles (UAVs) are increasingly deployed in forest
environments for tasks such as environmental monitoring and search and rescue,
which require safe navigation through dense foliage and precise data
collection. Traditional sensing approaches, including passive multispectral and
RGB imaging, suffer from latency, poor depth resolution, and strong dependence
on ambient light - especially under forest canopies. In this work, we present a
novel event spectroscopy system that simultaneously enables high-resolution,
low-latency depth reconstruction and multispectral imaging using a single
sensor. Depth is reconstructed using structured light, and by modulating the
wavelength of the projected structured light, our system captures spectral
information in controlled bands between 650 nm and 850 nm. We demonstrate up to
$60\%$ improvement in RMSE over commercial depth sensors and validate the
spectral accuracy against a reference spectrometer and commercial multispectral
cameras, demonstrating comparable performance. A portable version limited to
RGB (3 wavelengths) is used to collect real-world depth and spectral data from
a Masoala Rainforest. We demonstrate the use of this prototype for color image
reconstruction and material differentiation between leaves and branches using
spectral and depth data. Our results show that adding depth (available at no
extra effort with our setup) to material differentiation improves the accuracy
by over $30\%$ compared to color-only method. Our system, tested in both lab
and real-world rainforest environments, shows strong performance in depth
estimation, RGB reconstruction, and material differentiation - paving the way
for lightweight, integrated, and robust UAV perception and data collection in
complex natural environments.
Ссылки и действия
Дополнительные ресурсы: