Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences
2509.20906v1
cs.CV, cs.RO, I.4.8; I.4.9
2025-09-27
Авторы:
Julius Pesonen, Arno Solin, Eija Honkavaara
Резюме на русском
## Контекст
Определение 3D-положения дальних объектов из последовательности камерных замеров и сегментационных последовательностей является ключевым заданием в ситуациях, требующих высокой точности и надежности, например, в мониторинге лесных пожаров при помощи дронов. Традиционные подходы, такие как дептаст методы или трехмерная реконструкция сцены, часто оказываются не эффективными в условиях нестабильного изображения, высоких требований к вычислительным ресурсам или ограниченной доступности информации о параметрах камеры. Эти ограничения поднимают вопросы о создании более универсальных и ресурс-эффективных парадигм для решения таких задач.
## Метод
Предложенный подход основывается на использовании фильтра Захара при оценке частотных свойств камеры. Данная методология позволяет использовать значения изображений сегментации и положения камеры для определения 3D-положений объектов. Алгоритм работает в двух сценариях: одной и множественных целей. Основные элементы метода включают в себя интеграцию потока частиц для моделирования распределения вероятностей положения объекта в трехмерном пространстве. Эта модель гибко адаптируется к различным сценариям, включая те, которые требуют оптимизации вычислительного бюджета.
## Результаты
Исследования проводились на основе симуляционных данных и реальных последовательностей изображений с дрона, полученных с использованием глобальной системы навигации по satellite (GNSS) для определения положения камеры. Результаты показали, что фильтр Захара эффективно решает задачу определения 3D-положений дальних объектов, даже при низком качестве изображений и ограниченной доступности ресурсов. Этот подход продемонстрировал высокую точность и надёжность, оказавшуюся критично важной в задачах мониторинга и слежения.
## Значимость
Предлагаемый подход может быть использован в многочисленных прикладных областях, включая мониторинг лесных пожаров, обзорные задачи поиска-и-спасения, а также ситуации, требующие реального времени и эффективности в тяжёлых условиях. Он предоставляет значительные преимущества перед существующими методами, такими как высокая гибкость и независимость от определённых моделей детекции. Данный подход также открывает новые возможности для эффективного использования подходов машинного зрения в трудновыполнимых условиях.
## Выводы
Результаты экспериментов подтверждают эффективность использования фильтра Захара для решения проблем 3D-локализации дальних объектов в условиях семантической сегментации и шумных камерных данных. Б
Abstract
3D object localisation based on a sequence of camera measurements is
essential for safety-critical surveillance tasks, such as drone-based wildfire
monitoring. Localisation of objects detected with a camera can typically be
solved with dense depth estimation or 3D scene reconstruction. However, in the
context of distant objects or tasks limited by the amount of available
computational resources, neither solution is feasible. In this paper, we show
that the task can be solved using particle filters for both single and multiple
target scenarios. The method was studied using a 3D simulation and a
drone-based image segmentation sequence with global navigation satellite system
(GNSS)-based camera pose estimates. The results showed that a particle filter
can be used to solve practical localisation tasks based on camera poses and
image segments in these situations where other solutions fail. The particle
filter is independent of the detection method, making it flexible for new
tasks. The study also demonstrates that drone-based wildfire monitoring can be
conducted using the proposed method paired with a pre-existing image
segmentation model.