📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence
2025-11-06Авторы:
Renjun Gao, Peiyan Zhong
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Multimodal large language models (MLLMs) have shown remarkable capabilities
in cross-modal understanding and reasoning, offering new opportunities for
intelligent assistive systems, yet existing systems still struggle with
risk-aware planning, user personalization, and grounding language plans into
executable skills in cluttered homes. We introduce MARS - a Multi-Agent Robotic
System powered by MLLMs for assistive intelligence and designed for smart home
robots supporting people with disabilitie...
Авторы:
Jiayao Mai, Xiuyuan Lu, Kuan Dai, Shaojie Shen, Yi Zhou
## Контекст
Современные многосенсорные системы, объединяющие различные виды сенсоров, широко применяются в сферах, таких как робототехника, обнаружение объектов и видеонаблюдение. Одним из ключевых аспектов этих систем является эффективная синтезированная информация с различных датчиков, что требует точной калибровки. Особенно важна калибровка для систем, использующих **event cameras** — устройства, реагирующие на изменения яркости пикселей во временной шкале, что позволяет достичь микросекундной задержки в обработке изображений. Тем не менее, калибровка между event cameras и другими датчиками, такими как импульсные датчики или оптические поток-датчики, остается затруднительной, требуя специальных целей и подверждаясь некоторым шуму. Необходимо разработать метод, который бы упростил процесс калибровки и улучшил точность и стабильность результатов.
## Метод
Мы предлагаем **метод основанный на движении** для **калибровки временного и вращательного режимов** в event-centric multi-sensor systems. Наш метод основывается на использовании экстринских данных о ходе вращения, полученных непосредственно из данных event cameras, а также других типов датчиков. Мы убираем потребность в целевых элементах, которые требуются в традиционных подходах. Важным отличием нашего подхода является то, что мы используем оптический поток, полученный из спектральных данных event cameras, для вычисления ангулярной скорости. Это позволяет избежать необходимости конвертации данных event camera в кадры, что упрощает процесс. Общий подход к калибровке является двухступенчатым: сначала используется **Canonical Correlation Analysis (CCA)** для инициализации временных и вращательных параметров. Затем, вторая стадия проводит нелинейное оптимизационное решение в пространстве SO(3), чтобы добиться точности и стабильности. Эта методика обеспечивает высокую точность и кросс-платформенную универсальность.
## Результаты
Мы проводили эксперименты на двух типах данных: **общедоступных** и **самосборных**. Мы сравнили наш метод с традиционными методами, основанными на CCA и целевых объектах. Результаты показали, что наша методика показала сопоставимую точность с целевыми методами, но имеет более высокую стабильность. Цифровые результаты показали, что наш метод в значительной степени снижает ошибки временной и вращательной калибровки, что демонстрирует его высокую точность и стабильность. Эти результаты подтвердили достоинства нашей подходной модели в том, что она упрощает процесс, улучшает точность и может быть применена к различным многосенсорным системам.
## Значимость
Наш подход может быть применен в различных областях, таких как
Annotation:
Event cameras generate asynchronous signals in response to pixel-level
brightness changes, offering a sensing paradigm with theoretically
microsecond-scale latency that can significantly enhance the performance of
multi-sensor systems. Extrinsic calibration is a critical prerequisite for
effective sensor fusion; however, the configuration that involves event cameras
remains an understudied topic. In this paper, we propose a motion-based
temporal and rotational calibration framework tailored for ...