Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

2509.20906v1 cs.CV, cs.RO, I.4.8; I.4.9 2025-09-27
Авторы:

Julius Pesonen, Arno Solin, Eija Honkavaara

Резюме на русском

## Контекст Определение 3D-положения дальних объектов из последовательности камерных замеров и сегментационных последовательностей является ключевым заданием в ситуациях, требующих высокой точности и надежности, например, в мониторинге лесных пожаров при помощи дронов. Традиционные подходы, такие как дептаст методы или трехмерная реконструкция сцены, часто оказываются не эффективными в условиях нестабильного изображения, высоких требований к вычислительным ресурсам или ограниченной доступности информации о параметрах камеры. Эти ограничения поднимают вопросы о создании более универсальных и ресурс-эффективных парадигм для решения таких задач. ## Метод Предложенный подход основывается на использовании фильтра Захара при оценке частотных свойств камеры. Данная методология позволяет использовать значения изображений сегментации и положения камеры для определения 3D-положений объектов. Алгоритм работает в двух сценариях: одной и множественных целей. Основные элементы метода включают в себя интеграцию потока частиц для моделирования распределения вероятностей положения объекта в трехмерном пространстве. Эта модель гибко адаптируется к различным сценариям, включая те, которые требуют оптимизации вычислительного бюджета. ## Результаты Исследования проводились на основе симуляционных данных и реальных последовательностей изображений с дрона, полученных с использованием глобальной системы навигации по satellite (GNSS) для определения положения камеры. Результаты показали, что фильтр Захара эффективно решает задачу определения 3D-положений дальних объектов, даже при низком качестве изображений и ограниченной доступности ресурсов. Этот подход продемонстрировал высокую точность и надёжность, оказавшуюся критично важной в задачах мониторинга и слежения. ## Значимость Предлагаемый подход может быть использован в многочисленных прикладных областях, включая мониторинг лесных пожаров, обзорные задачи поиска-и-спасения, а также ситуации, требующие реального времени и эффективности в тяжёлых условиях. Он предоставляет значительные преимущества перед существующими методами, такими как высокая гибкость и независимость от определённых моделей детекции. Данный подход также открывает новые возможности для эффективного использования подходов машинного зрения в трудновыполнимых условиях. ## Выводы Результаты экспериментов подтверждают эффективность использования фильтра Захара для решения проблем 3D-локализации дальних объектов в условиях семантической сегментации и шумных камерных данных. Б

Abstract

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.

Ссылки и действия