## Контекст PhysiAgent: An Embodied Agent Framework in Physical World — это исследование в области Vision-Language-Action (VLA), направленное на решение проблем с относительно низким уровнем общедоступности, с которыми сталкиваются существующие VLA-модели. Несмотря на успех моделей Vision-Language Models (VLMs) в задачах понимания сцены и планирования, их универсальность часто ограничивается, что приводит к неэффективной командировке VLAs. Недостаток гибкости и самостоятельности во взаимодействии между VLMs и VLAs приводит к трудностям в коллаборации и слабым механизмам закрепления в реальных физических средах. Данная работа стремится создать автономную систему, которая способна корректно организовывать действия и интеллектуально взаимодействовать в реальном времени. ## Метод PhysiAgent представляет собой специализированную систему, которая включает в себя несколько ключевых монолитов: монитор, память и саморефлексию. Эти модули интегрируются с офф-столовыми алгоритмами для гибкой командировки VLMs на основе реального времени. Монитор отвечает за динамическое выявление ошибок и проблем в поведении VLMs. Модуль памяти сохраняет информацию о действиях и результатах, которая позволяет VLMs корректировать свой подход. Механизм саморефлексии определяет необходимые модификации в стратегии и позволяет VLMs принимать адаптивные решения. Для работы с физическими средами используются сборки стандартных инструментов, которые обеспечивают конкретную реализацию. Эта архитектура включена в общую систему, которая предоставляет инструмент для обеспечения лучшей координации между VLMs и VLAs в реальных ситуациях. ## Результаты В ходе экспериментов были проведены испытания на комплексных реальных задачах, включающих в себя множество сложных операций. Использованные данные включали видео, текст и данные с сенсоров, которые описывали сцену и выполняемые действия. Результаты показали, что PhysiAgent существенно улучшает производительность в решении задач, повышая точность выполнения действий до 95%. Это продемонстрировано на примерах, где VLMs эффективно координируют VLAs, а сама система адаптируется к изменению условий. Эксперименты показывают, что PhysiAgent предлагает эффективное решение взаимодействия и мониторинга в реальном времени. ## Значимость PhysiAgent имеет широкие области применения в сферах робототехники, умных домов, систем поиска информации и управления. Он предлагает значительные преимущества по сравнению с существующими алгоритмами. В частности, его гибкость и самоорганизационные свойства позволяют существенно повысить эффективность в решении задач, оптимизировать

## Контекст Современные роботизированные системы для тонких манипуляций часто сталкиваются с ограничениями в осуществлении точных действий, особенно когда визуальная перцепция не может уловить незначительные изменения в положении объекта. Например, в таких задачах, как вставка ключа в замок или подключение USB-устройства, визуальные системы могут недостаточно чувствительны к вибрациям и контактным сигналам, необходимым для точного контроля. Это приводит к неточностям, необходимости повторных попыток и потере времени. Было предложено использовать объемные сенсоры, но они либо медленны, либо требуют слишком много ресурсов. TranTac предлагает решение этой проблемы, объединяя эффективность, точность и недорогие материалы для решения таких задач. ## Метод TranTac основывается на интеграции 6-осевого инерциального измерительного устройства (IMU) в полимерные части робот-гриппера. Этот сенсор наблюдает динамические изменения в положении объекта в течение десятков микросекунд, что позволяет измерить малые движения, невидимые для визуального сенсора. Модель также включает в себя transformer-based encoders, которые обрабатывают данные IMU, и diffusion policy, позволяющую роботу динамически корректировать положение объекта. Эта модель имитирует человеческие движения при вставке, используя динамические корректировки, основанные на временных сенсорных сигналах. ## Результаты TranTac протестирована на вставке примесей, ключей и USB-устройств. Она достигла высокой успешности во вставке с незначительными ошибками, даже если визуальная система не смогла обнаружить несоответствия. Помимо этого, робот смог правильно распознавать контактные точки и корректировать свое положение при наличии видимых деформаций. Также был проведен тест на общую гибкость: после обучения на одной паре отверстий и объекта, TranTac успешно выполнила задачи на неизвестных объектах с чуть менее 70% успешностью. ## Значимость Наиболее заметные преимущества TranTac заключаются в ее способности использовать минимальное количество данных для точного управления, что делает ее привлекательной для систем с ограниченными ресурсами. Ее можно применять в сфере robot-саунд, где точность и эффективность сенсорных сигналов критичны. Эта модель также может быть применена в реальных ситуациях, таких как туннельные инструменты для медицинских целей или роботы для сборки тонких соединений. Такое решение может существенно улучшить точность и эффективность манипуляций в технических задачах. ## Выводы TranTac достигла значительных успехов в области тонких манипуляций, показав способность корректировать положение объекта с помощью

## Контекст ### Область исследования Требования к автономным системам в условиях динамически изменяющейся среды постоянно растут. Особенно актуальным становится решение проблемы пересчета маршрутов в реальном времени при возникновении движущихся препятствий. Наиболее затруднены ситуации в трехмерных средах, таких как морские глубины, аэросфера и астероидные поля. ### Задача В подобных средах проблема репланирования маршрутов становится критично важной. Нужен алгоритм, который может эффективно и быстро построить новый маршрут, гарантируя безопасность и эффективность движения. ### Мотивация Предыдущие алгоритмы, такие как SMART, были разработаны для двумерных сред. Однако в трехмерных средах проблема работы с движущимися препятствиями значительно усложняется. Требуется адаптивный подход, который может эффективно справляться с такими ограничениями. ## Метод ### Описание методологии SMART-3D является расширением SMART-алгоритма, ориентированным на трехмерные среды. Основной идеей является замена трехмерной сетки на более эффективную структуру — **дерево Smart-tree**. ### Архитектура SMART-3D построен на основе дерева, где каждая ветвь представляет потенциальный маршрут. Если препятствие попадает в проходящую часть маршрута, алгоритм находит ближайший **hot-node** — узел, который может быть использован для быстрого реконнекта к другим частям дерева. ### Особенности - **Удаление трехмерной сетки**: Трехмерная сетка, используемая в SMART, заменена на более эффективную структуру. - **Hot-nodes**: Эти узлы играют ключевую роль в поддержании структуры и быстрому нахождению новых маршрутов. - **Реальное время**: Алгоритм работает без необходимости пересчета сетки, что позволяет достичь высокой скорости операций. ## Результаты ### Эксперименты Данные для экспериментов были сгенерированы симулятором, в котором в трехмерной среде двигались динамические препятствия. Алгоритмы были применены для редактирования маршрута в реальном времени. ### Данные Использовались данные с разными скоростями движения препятствий, различными геометрическими структурами среды и разной плотностью препятствий. ### Результаты - **Успешный маршрут**: В 76% случаев SMART-3D смог найти новый безопасный маршрут в течение 200 мс. - **Траектория препятствия**: Обнаружено, что SMART-3D эффективно адаптируется к движущимся препятствиям, уменьшая время перепланирования. ## Значимость ### Области применения SMART-3D может быть применен в следующих сферах: - Автономные

#### Контекст Область исследования сосредоточена на развитии методов управления для систем многоагентных роботов, где необходимо обеспечить безопасность, высокую точность и интерпретируемость решений. Традиционные методы часто страдают от неполной транспарентности, что может привести к недоверию и ошибкам в критичных ситуациях. В то же время, существующие решения часто не могут эффективно комбинировать безопасность, точность и энергоэффективность в реальном времени. Это ставит дополнительные требования к разработке фреймворков управления, которые были бы эффективны в условиях строгого требования к точности и гибкости в условиях неопределенности. Мотивация заключается в разработке фреймворка, который обеспечивает транспарентность, эффективность и безопасность в различных многоагентных роботизированных системах. #### Метод Методология фреймворка основывается на трех ключевых компонентах: 1) **Timed-automata supervisor**, который обеспечивает безопасное и аудируемое переключение режимов управления; 2) **Lyapunov-based controller** для решения задач с большими угловыми поворотами; 3) **Sliding-mode controller (SMC) with boundary layers**, обеспечивающий точность и устойчивость при воздействии нарушений. Для обучения использовалась модель Monte Carlo-driven optimization, обеспечивающая набор данных для реального времени. Разработанный фреймворк также включает в себя **explainable predictor**, который предоставляет прозрачный анализ, как миссионные критерии соотносятся с ресурсами и ожидаемой производительностью (например, энергопотреблением и ошибкой). Для валидации были использованы две различные среды: 1) миссии по формованию космических аппаратов; 2) тесты автономных подводных роботов (AUV). #### Результаты В тестах по космическим миссиям, проводимым с использованием роботов-формирователей, SMC-контроллер показал субмиллиметровую точность в алигнменте с 21.7% меньшим потреблением энергии и 81.4% меньшей ошибкой по сравнению с контроллером Proportional-Derivative (PD). В тестах подводных роботов (AUV), которые моделируют условия строгих раступываний и внешних воздействий, SMC удалось сохранить ограниченные ошибки в рамках допустимого диапазона. Эти результаты подтверждают гибкость и надежность фреймворка в различных условиях, в том числе с тесным следованием к динамическим критериям и неопределенностям в миссионном контексте. #### Значимость Разработанный фреймворк может быть применен в различных критичных областях, включая космические операции, подводное воздушное дело, а также в общих многоагентных роботизированных системах. Он обеспечивает повышенную

## Контекст Управление роботами на основе демонстрации позволяет им приобретать сложные навыки, адаптировався к различным задачам в разных средах. Однако, существующие подходы часто требуют больших наборов данных и не в состоянии обобщаться на новые координатные преобразования. Эти ограничения затрудняют их применение в реальных условиях, где необходимо быстрое понимание и адаптация к изменениям. Мотивация заключается в развитии метода, который может извлекать полезные навыки из небольших демонстраций и обеспечивать высокую гибкость при работе в разных условиях. ## Метод Мы предлагаем Prompt2Auto — новую рамочную методику, основанную на геометрически инвариантном подходе one-shot Gaussian process learning. Основной идеей является возможность извлечения знаний о движении в любой точке пространства из одного моментального пробного знака (motion prompt). Для обеспечения геометрической инвариантности мы предлагаем стратегию построения данных, которая учитывает преобразования по трансляции, вращению и масштабированию. Это позволяет модели GeoGP не только мгновенно понять движение, но и предсказывать несколько шагов вперёд. Также, модель обладает высокой стойкостью к разнообразию в поведении пользователя, что формирует базу для многоспособной автономной системы. ## Результаты Мы проверили Prompt2Auto в рамках двух реальных экспериментов, используя дизайн пользовательского интерфейса для графического ввода движений. Результаты показали, что модель может эффективно извлекать навыки в одном примере, преобразовывать их в конкретное поведение робота, а также адаптироваться к новым условиям. Это продемонстрировано в сценариях, в которых робот выполнял сложные ритмичные движения, включая колебания точки в пространстве и другие задачи, где требуется точное управление. Модель GeoGP также показала способность учитывать несколько навыков одновременно, что позволяет роботу одновременно решать разные задачи. ## Значимость Предлагаемый подход может быть применен в различных областях, где необходимо автоматизировать управление роботами на основе набора сложных движений, таких как ассистирование в хирургии, точные технологии или системы для транспорта. Одним из основных преимуществ является высокая гибкость и способность обучаться из небольших демонстраций, что значительно сокращает время обучения. Это может привести к увеличению эффективности и безопасности в работе с роботами в технологических процессах. ## Выводы Результаты проведенных экспериментов показывают, что Prompt2Auto является эффективным инструментом для обучения роботов с использованием одного моментального примера. Метод не только обеспечивает высокую

#### Контекст Планирование маршрутов в динамических средах является одной из основных проблем в робототехнике, особенно при развертывании автономных систем в непредсказуемых пространствах, таких как склады и дороги. Алгоритмы, такие как Fast Marching Tree (FMT$^{*}$), обеспечивают асимптотически оптимальные решения в статических средах. Однако их однопроходная структура не позволяет изменять маршруты во время выполнения, что необходимо для реакции на изменения среды в реальном времени. Другой подход — полное перепланирование — требует больших вычислительных ресурсов. Данная работа предлагает FMT$^{x}$, расширение FMT$^{*}$, которое позволяет эффективно и консистентно проводить перепланирование в динамических средах. #### Метод Авторы пересмотрели правило выбора соседей в FMT$^{*}$, продемонстрировав, что минимальные изменения этого правила позволяют перейти от однопроходного подхода к многопроходному. Теперь алгоритм может обновлять значения cost-to-come при обнаружении лучших путей без потери асимптотической оптимальности и высокой вычислительной эффективности. Используется комбинация общего приоритетного очереди с выбранным условием обновления, которое использует расширяющийся сосед для определения и переоценки любого узла с потенциально субоптимальным путем. Этот метод позволяет эффективно исправлять субоптимальные маршруты в процессе изменения среды, сохраняя эффективность FMT$^{*}$. #### Результаты Эксперименты показали, что FMT$^{x}$ быстрее реагирует на изменения в среде по сравнению с RRT$^{x}$, при этом потребляя меньшие вычислительные ресурсы. Алгоритм обеспечивает высокую скорость реакции и эффективное использование ресурсов, что делает его оптимальным выбором для реального времени в планировании маршрутов в непредсказуемых средах. #### Значимость Предлагаемый подход может быть применен в различных робототехнических системах, включая роботы-помощники, автомобили-роботы, а также в системы-сироты в складских системах. Он обеспечивает быструю реакцию на изменения и низкое потребление ресурсов, что делает его привлекательным для реального времени. Будущие исследования будут ориентированы на улучшение метода FMT$^{x}$ для более сложных сред и увеличения скорости их выполнения. #### Выводы FMT$^{x}$ является эффективным и асимптотически оптимальным решением для планирования маршрутов в динамических средах. Он позволяет эффективно исправлять маршруты при изменении среды, сохраняя высокую эффективность и асимптотическую оптимальность. Дальнейшие исследования будут нацелены на улучшение производительности и расширение применений этого подхода.