Dynamic Objects Relocalization in Changing Environments with Flow Matching
2509.16398v1
cs.RO, cs.LG
2025-09-24
Авторы:
Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Daniele Nardi, Liam Paull
Резюме на русском
#### Контекст
Область расположения объектов в условиях изменяющихся окружений представляет собой ключевую проблему в робототехнике, особенно при работе в домашних или складских средах. Там, где действия людей приводят к динамическим перемещениям предметов, необходимо находить эти предметы снова, чтобы завершить задачи, что увеличивает риск провала. Эта проблема становится важной для длительного хода заданий, таких как домашние уборка, подгрузка продуктов или упаковка. Однако, даже если движения предметов во многом определяются человеческими предпочтениями и типичными шаблонами поведения, эти характеристики часто не учитываются в существующих подходах. Мы предполагаем, что эти сигналы могут использоваться для точного переноса предметов в пространстве и времени, без необходимости полного пересканирования среды.
#### Метод
Мы предлагаем FlowMaps, модель, основанную на Flow Matching, для переноса предметов в пространстве и времени. Flow Matching — это метод, использующий оптимальные маршруты для решения задач с потоками данных. В нашей модели мы применяем его для интерпретации данных, подтверждающих движения предметов в сцене, и для выявления самых вероятных мест их расположения. FlowMaps оптимизируется с помощью градиентного подъема, чтобы производить наиболее вероятный результат, опираясь на входные данные о паттернах движения. Метод позволяет создавать многомодальные прогнозы местоположения предметов в любой момент времени.
#### Результаты
Мы проводили эксперименты на двух наборах данных: 1) симуляционном, в котором производились 400 сцен с рандомными перемещениями предметов, и 2) реальном, с данными сбора, в которых были зафиксированы движения подгрузки продуктов. Мы сравнили FlowMaps с другими подходами, такими как модели скрытых Markov-процессов и глубокие нейросетевые модели. Наши результаты показали, что FlowMaps достигает лучшей точности в поиске предметов, особенно в сценах с большим количеством перемещений. Также мы выявили, что FlowMaps эффективен, даже при небольшом количестве данных об истории движения предметов.
#### Значимость
Предлагаемый подход имеет широкие перспективы в робототехнике, особенно в проблемах долгосрочного распознавания и повторного размещения предметов в средах, где движение предметов определяется людьми. Возможность FlowMaps использовать реплицируемые шаблоны движения может уменьшить время поиска предметов и повысить эффективность задач, таких как доставка, организация складских процессов или упаковка. Более того, этот подход может иметь полезные приложения в сферах, где требуется мониторинг и перемещение предметов в реальном времени.
#### В
Abstract
Task and motion planning are long-standing challenges in robotics, especially
when robots have to deal with dynamic environments exhibiting long-term
dynamics, such as households or warehouses. In these environments, long-term
dynamics mostly stem from human activities, since previously detected objects
can be moved or removed from the scene. This adds the necessity to find such
objects again before completing the designed task, increasing the risk of
failure due to missed relocalizations. However, in these settings, the nature
of such human-object interactions is often overlooked, despite being governed
by common habits and repetitive patterns. Our conjecture is that these cues can
be exploited to recover the most likely objects' positions in the scene,
helping to address the problem of unknown relocalization in changing
environments. To this end we propose FlowMaps, a model based on Flow Matching
that is able to infer multimodal object locations over space and time. Our
results present statistical evidence to support our hypotheses, opening the way
to more complex applications of our approach. The code is publically available
at https://github.com/Fra-Tsuna/flowmaps
Ссылки и действия
Дополнительные ресурсы: