#### Контекст Visual navigation, осуществляемая с применением только одной камеры и топологической карты, является привлекательным альтернативным подходом к методам, требующим дополнительных сенсоров и 3D-сетки. Отличительным чертами такого подхода является "изображение-относительный" подход, который позволяет оценивать управление на основе пары текущего изображения и субцели. Однако изображение-относительные подходы ограничены, так как изображения сильно привязаны к позе и антропоморфности агента. В то же время, объекты, являясь частью карты, предлагают трансформацию-инвариантную и позиционирование-инвариантную носительную структуру. В данной работе мы предлагаем новую парадигму обучения на основе "объектного-относительного" управления, которая имеет несколько выгодных свойств: a) позволяет совершать новые маршруты без необходимости копировать предыдущие опыты, b) разделяет проблему прогнозирования управления от решения проблемы соотнесения изображений, и c) обеспечивает высокую качественную инвариантность при переносе политики с моделирования на реальность, включая смену обзора и настройку траектории. #### Метод Мы предлагаем новую структуру топологической карты в виде "относительного" 3D-графа сцены, который используется для получения более информативных глобальных затрат планирования пути. Мы также разрабатываем локальный контроллер, "ObjectReact", который принимает в качестве входных данных высокоуровневую "WayObject Costmap", исключая необходимость в явном вводе цветного изображения. Обучение "ObjectReact" основано на методах глубокого обучения, которые позволяют принимать решения на основе объектного отношения, а не изображения. Этот подход позволяет лучше распознавать и управлять объектами, независимо от камеры или позы агента. #### Результаты Мы проводим эксперименты, сравнивая нашу модель с изображение-относительными подходами в различных ситуациях: изменения высоты камеры, маршрутами в обратном порядке, и т.д. Наши результаты показывают, что "ObjectReact" не только показывает высокую точность в локальном управлении, но и обеспечивает лучшую общительность во время переноса политик с симуляции на реальный мир. Мы также демонстрируем, что наша система может обеспечить трансфер в разные ситуации, включая смену обзора и смену траектории. #### Значимость Наша работа открывает новые возможности для эффективного обучения управления в визуальной навигации. Она позволяет переключаться между моделированием и реальным миром более устойчиво, с меньшим риском переобучения. Кроме того, наш подход предоставляет преимущества в сфере обеспечения простоты и универсаль

## Контекст Vision-Language-Action (VLA) модели стали мощным инструментом для проблематики robotic manipulation. Они объединяют в себе способности понимания текста, обработки изображений и реального взаимодействия с окружающим перворостком. Несмотря на успехи, полученные благодаря большим объемам предобучения и настройке под конкретные задачи (SFT), эти модели сталкиваются с двумя основными проблемами: 1. Ограниченность и высокая стоимость больших датасетов траекторий управления, полученных с помощью ручного управления. 2. Ограниченность в общепринятом понятии generalization, что приводит к необходимости стремительного роста размера обучающих данных. Эти проблемы подчеркивают необходимость развития новых подходов к обучению VLA-моделей, которые смогут справляться с этими недостатками. ## Метод SimpleVLA-RL представляет собой развитие идей RL в области обучения VLA-моделей. Существующие техники RL, такие как veRL, были адаптированы с учетом конкретных особенностей VLA-моделей. Набор оптимизаций включает в себя: 1. **Выборка траекторий**: Методы, нацеленные на эффективное получение траекторий, которые затем используются для обучения. 2. **Параллельность**: Распараллеливание процесса выборки траекторий для увеличения эффективности. 3. **Улучшенные стратегии эксплуатации**: Инновационные подходы, позволяющие модели открывать новые траектории и варианты поведения. 4. **Оптимизация вычислений**: Реализация эффективных вычислений для работы с большими датасетами. Эти методы были реализованы в SimleVLA-RL, создав эффективный инструмент для обучения VLA-моделей с учетом их специфики. ## Результаты Проведены эксперименты с применением SimpleVLA-RL к двум известным датасетам: OpenVLA-OFT и RoboTwin. Эти эксперименты подтвердили, что SimpleVLA-RL: 1. Существенно улучшает результаты по сравнению с состоянием технологии (SoTA) на LIBERO. 2. Опережает модели $\pi_0$ на RoboTwin 1.0 и 2.0, благодаря новым стратегиям эксплуатации. При этом модель показала способность находить новые, до этого неизвестные траектории в процессе обучения, что демонстрирует способность к новым, нестандартным решениям. ## Значимость SimpleVLA-RL демонстрирует практическое применение RL в области VLA-моделей, решая ключевые проблемы: 1. Уменьшение зависимости от больших датасетов. 2. Улучшение способности моделей к generalization. 3. Увеличение эффективности реального применения VLA-моделей в сложных сценариях. Эти достижения открывают путь к развитию более надежных и производительных моделей для robotic manipulation. ## Выводы SimpleVLA-RL доказывает, что RL может эффективно решать проблемы обучения VLA-моделей, снижая

## Контекст Обеспечение эффективного и безопасного движения мобильных роботов в сложных и неизвестных окружающих условиях является ключевым заданием в искусстве инженерии. Одним из важных аспектов этой проблемы является возможность точного и быстрого избегания препятствий. Обнаружение и избегание препятствий требуют синхронизации данных с различных видов сенсоров, что повышает сложность решения. Для повышения точности и уменьшения времени реагирования на события вокруг робота в последнее время появился интерес к использованию сверточных нейронных сетей (CNN) для обработки реального времени изображений, полученных сенсорами, такими как RGB-D камеры. ## Метод В этой работе рассматриваются три разных архитектуры CNN, которые были обучены с использованием обширной выборки данных для решения задачи избегания препятствий. Эти модели были разработаны для использования с синхронизированными RGB-D изображениями, полученными с помощью Intel RealSense D415. Архитектуры были сконструированы для того, чтобы извлекать признаки из изображений и преобразовывать их в низкоуровневые команды для управления мобильным роботом. Особое внимание было уделено оптимизации моделей, чтобы они могли работать в реальном времени с минимальными затратами ресурсов. ## Результаты Использовав данные, полученные от RGB-D камеры, были проведены эксперименты для сравнения трех разных моделей CNN. Наиболее продвинутая модель, NetConEmb, продемонстрировала наилучший результат, показав низкую ошибку в определении направления ($0.58 \times 10^{-3}$ rad/s) и высокую точность в реальном времени. Другие модели, такие как NetEmb и NetGated, показали приемлемые результаты, но их работа была менее устойчива в неизвестных окружающих условиях. В реальных условиях движения робота, NetConEmb достигла 100% успешности в обходе препятствий, используя только данные синхронизированных RGB-D изображений. ## Значимость Это исследование имеет значительное значение для развития робототехники и систем автономного движения мобильных роботов. Результаты показывают, что CNN могут быть эффективно использованы для решения задач синтеза управления, снижая время реакции и увеличивая устойчивость робота в пространстве. Эта технология может быть применена в различных областях, включая промышленность, домофонные системы, гражданскую защиту и транспорт. Она также открывает пути для последующих исследований в области улучшения точности и скорости операций мобильных роботов. ## Выводы Исследование подтвердило, что использование CNN для решения задачи избегания препятствий является эффективным и надежным подходом. NetConEmb модель была определен

#### Контекст Обеспечение безопасной навигации для автономных систем в опасных окружающих условиях является ключевым аспектом их развития. Это становится особенно актуально, когда необходимо координировать действия нескольких агентов, ориентируясь только на визуальные сигналы в течение длительных периодов времени. Традиционные методы планирования показали эффективность в решении задач с длинными горизонтами времени, но они зачастую ограничиваются статическими метриками расстояний. Зато алгоритмы Reinforcement Learning (RL) могут оптимизировать сложные поведения с использованием высокоразмерных входных данных, но часто сталкиваются с проблемами при решении задач с несколькими агентами, ориентирующихся на цели. Недавние разработки объединили эти подходы, используя Goal-Conditioned RL (GCRL) для создания сетки планарных мероприятий на основе данных из реплей буфера, а затем применяя Conflict-Based Search (CBS) для планирования маршрутов с несколькими агентами. Однако эта архитектура часто оказывается слишком осторожной, делая миссии эффективными только в условиях минимального риска. #### Метод Мы предлагаем RB-CBS — расширенную версию CBS, которая динамически назначает и корректирует рисковую порогу ($\Delta$), распределяемую между агентами. Это позволяет управлять отношением между безопасностью и эффективностью миссии. Для каждого агента выделяется локальный бюджет риска ($\delta$), который оптимизирует каждого агента в отдельности, при этом сохраняя соблюдение общих безопасностных ограничений. Мы внедрили этот подход в систему навигации, используя граф с целями, строимый на основе данных от RL, и метод CBS для конфликтов между маршрутами. Этот метод позволяет агентам находить коллизионно-свободные пути в сложных окружениях, соблюдая пользовательское ограничение риска $\Delta$. #### Результаты Мы провели эксперименты в симуляторе с различными размерами и сложностью ландшафтов, в том числе нелинейных и тупиковых. Мы сравнили RB-CBS с оригинальным CBS и другими алгоритмами, такими как GCRL-CBS. Наши результаты показали, что RB-CBS значительно улучшает эффективность, сокращая время навигации без ущерба для безопасности. Например, в среднем рисковой порог $\Delta = 0.2$ позволил агентам успешно достигнуть цели в 95% случаев, тогда как оригинальный CBS с ограничениями по риску работал только в 78% случаев. Эти результаты подтверждают то, что наш метод эффективно сбалансировал безопасность и эффективность. #### Значимость Предложенный подход имеет широкие применения в сфере автономных систем, включая робототехнику, авиацию и системы поиска и спасения. Он особенно по

#### Контекст Исследование автоматического воздушного полета становится все более важным в сфере робототехники, где целью является разработка систем, которые могут эффективно ориентироваться в пространстве, избегая столкновений. Одной из ключевых проблем является оценка метрической глубины из изображений, необходимая для точного планирования движения воздушных роботов. Несмотря на то, что существуют методы, использующие тяжелые сенсоры (например, ЛиДАРы или стероскопические камеры), они требуют больших вычислительных ресурсов и ограничены в размерах. Другие подходы, основанные на монокулярных камерах, часто требуют дорогостоящего и интенсивного данными тренировочного процесса. Это мотивирует разработку системы, которая была бы как можно более легковесной и точной в процессе оценки глубины для автономных дронов. #### Метод Предлагается подход, основанный на визуально-инерционной системе навигации, которая позволяет генерировать спарсе 3D-карту фичи с использованием относительных метрических глубин. Данные глубины рескалируются с помощью нескольких стратегий, включая монотонические сплайны, чтобы получить метрическую глубину. Архитектура системы включает несколько этапов: сбор данных с инерционного измерительного модуля и RGB-камеры, создание 3D-карты фич, рескалирование и вывод метрических глубин. Технические решения включают использование моделей обучения без учителя, которые позволяют избегать трудоемкого интерпретационного процесса, и монотонические сплайны, обеспечивающие точное преобразование относительных глубин в метрические. #### Результаты За основу исследования были взяты различные симуляционные и реальные среды, включая различные условия света и обстановки. Результаты показали, что стратегия, основанная на монотонических сплайнах, демонстрирует наивысшую точность. В реальном мире, на компьютерно-ограниченном квадроторе, система обеспечила оценку метрических глубин с частотой 15 Гц, что позволило выполнять успешный коллизионный избегание. Эксперименты продемонстрировали, что метод значительно упрощает вычислительные задачи и точно предсказывает метрические глубины для автономного полета. #### Значимость Разработанный подход может быть применен в различных областях, включая автоматический авиационный полет, доставку по городу, поиск и спасательные операции. Он имеет несколько преимуществ, таких как легковесность, независимость от больших данных и высокая точность. Этот подход может существенно снизить требования к ресурсам для о

## Контекст Диффузионно-гидрированное много-звеное планирование движения (Diffusion-Guided Multi-Arm Motion Planning, DG-MAP) является ключевым вопросом в робототехнике и автоматизации. Много-звеное планирование движения (Motion Planning) требуется для обеспечения эффективного выполнения сложных задач в общем пространстве. Несмотря на это, существующие методы сталкиваются с трудностями в связи с экспоненциальным ростом числа состояний при увеличении числа звеньев и зависимостью от больших объемов данных для обучения учебных моделей. Вдохновлены методологией Многоагентного Планирования Путей (Multi-Agent Path Finding, MAPF), которая разбивает задачу планирования на отдельные проблемы планирования для отдельных агентов с коллизионным урегулированием, предлагается подход, который улучшает масштабируемость обученных моделей и уменьшает зависимость от огромных объемов данных. ## Метод Метод DG-MAP включает в себя два основных компонента. Во-первых, для генерации заданных отдельных траекторий для каждого звена используется обученная модель условной диффузии. Во-вторых, для разрешения коллизий между звеньями используется вторая условная модель диффузии, нацеленная на моделирование динамики двойного звена. Эти модели интегрируются в структуру планирования, основанную на MAPF. Задачи планирования разбиваются на отдельные подзадачи для каждого звена, а затем решаются путем решения моделей диффузии и выполнения коллизионного урегулирования. Этот подход позволяет эффективно масштабироваться в плане числа звеньев, обеспечивая эффективность и точность. ## Результаты Эксперименты проводились на разных количествах звеньев, а использовались различные данные для обучения и проверки. Результаты показали, что DG-MAP эффективно масштабируется на большее число звеньев по сравнению с другими методами, такими как обученные глубокие сети. Также показано, что DG-MAP эффективно решает задачи с коллизиями и демонстрирует улучшение точности и скорости выполнения задач. ## Значимость DG-MAP может быть использован в различных приложениях, включая автоматизированные системы производства, роботов-сервисных роботов, роботов-космических аппаратов и других областях, где необходимо много-звеновое планирование движения. Этот подход предлагает значительные преимущества, такие как эффективность в обработке большого числа звеньев, уменьшение зависимости от больших объемов данных и увеличение точности. Будущими направлениями исследований могут стать улучшение моделей диффузии, интеграция с другими методами планирования и расширение приложений в реальном мире. ## Выводы Разработанный DG-

Описание ## Контекст Многоагентная система — это система, в которой несколько агентов должны совместно решать задачи, обмениваясь информацией и действуя взаимодействием. Эти системы встречаются в большинстве современных технологий, например, в управлении роботскими системами, системах вождения автомобилей, системах роботов, сборных, и системах генерирующих текст на основе знаний. Одной из ключевых проблем в многоагентных системах является то, что их поведение зависит от того, как они определяют и выполняют свой приоритет. Это влияет на качество решений, которые они принимают, и может привести к ошибкам в поведении. Одним из главных проблемах в нейросетевых системах является то, что данные, используемые для обучения, часто не хватает, что приводит к проблемам в обучении. ## Метод Мы предлагаем методологию, которая включает в себя модель многоагентной инверсной реинфорсментной учебки (MIRL). Метод построен на основе симметрии в многоагентных системах. Мы разработали алгоритм, который может использовать симметрию в качестве дополнительной информации для улучшения точности предсказаний. Мы используем специальную архитектуру, которая позволяет восстанавливать не только реWARD-функции, но и соцальные структуры в многоагентных системах. Мы также используем адвертарную модель, которая позволяет улучшить модель действий агентов. ## Результаты Мы проводили эксперименты на нескольких сложных задачах, включая задачи с поведением роботов и системами с частичной наблюдаемостью. Мы сравнили нашу модель с другими моделями, которые также используют симметрию, и получили значительные улучшения в предсказании точности и качестве решений. Мы также проверили нашу модель на реальных физических многоробочных системах, подтвердив ее практическую эффективность. ## Значимость Наша модель может быть применена в большинстве видов многоагентных систем, включая системы управления роботами, системы вождения автомобилей, системы генерирования текста на основе знаний. Мы показали, что наш метод может улучшить качество решений, снизить потребление ресурсов и улучшить предсказания в системах с частичной наблюдаемостью. Это делает нашу модель полезной для разработки более эффективных систем вождения и систем управления подвижностью. ## Выводы Мы демонстрируем, что использование симметрии в многоагентных системах может привести к более точным предсказаниям и более эффективных методам для обучения. Мы также показали, что наш метод может быть применен в различных системах, от роботов до систем генерирования текста.

## Контекст Декстерная манипуляция человека основывается на тактильных и кинематических ощущениях, которые обеспечивают надежные захваты предметов. Однако передача таких сенсорных сигналов на уровне моторных действий для роботских рук остается нерешенной проблемой. Недостаток универсальных алгоритмов, которые могли бы эффективно передавать человеческие гриппинг-скиллы на нейрохирургические роботы, требует развития новых подходов. Наша мотивация заключается в разработке простого, но эффективного метода для получения и передачи гриппинг-скиллов человека на роботы, чтобы увеличить уровень интеграции роботов в повседневную сферу. ## Метод Мы предлагаем нейросетевую модель, которая решает задачу передачи гриппинг-скиллов с помощью графовых структур и LSTM-слоя. Интегрируя данные от датчиков гантели, мы формируем универсальное представление данных, которое может быть использовано как для человеческих рук, так и для роботских. Модель основывается на многомерных субграфных конволюциях и аттенционных LSTM-слоях для выделения спатспросио-временных признаков. Наши архитектурные решения позволяют обучать модель на примерах человеческих рук и переносить их на роботы без потери качества. ## Результаты Мы проводили эксперименты на широком спектре задач, включая захват деформируемых предметов. Результаты показали, что наш подход превосходит другие методы по уровню устойчивости и точности захвата. Мы протестировали нашу модель на роботах со складывающимися пальцами и статическими пальцами. Итоговые результаты подтверждают значительный урпах модели в гриппинг-скилле с низким количеством ошибок и максимальной универсальностью. ## Значимость Наш подход может быть применен в различных сферах, включая нейрохирургию, где роботы должны эффективно интерактировать с объектами в трехмерном пространстве. Он предоставляет высокую точность и универсальность, что позволяет централизованно управлять роботом в различных сценариях. Мы также отмечаем, что наш подход может улучшить качество жизни за счет мобилизации роботов в повседневной сфере. ## Выводы Мы разработали метод, который позволяет эффективно передавать гриппинг-скиллы с помощью графовых структур и LSTM. Модель стабильно работает в разных условиях и демонстрирует высокую универсальность. В дальнейшем мы планируем расширить нашу модель, включив в нее более сложные задачи, такие как динамическая синхронизация рук и роботов.

#### Контекст Планирование маршрутов в динамических средах является одной из основных проблем в робототехнике, особенно при развертывании автономных систем в непредсказуемых пространствах, таких как склады и дороги. Алгоритмы, такие как Fast Marching Tree (FMT$^{*}$), обеспечивают асимптотически оптимальные решения в статических средах. Однако их однопроходная структура не позволяет изменять маршруты во время выполнения, что необходимо для реакции на изменения среды в реальном времени. Другой подход — полное перепланирование — требует больших вычислительных ресурсов. Данная работа предлагает FMT$^{x}$, расширение FMT$^{*}$, которое позволяет эффективно и консистентно проводить перепланирование в динамических средах. #### Метод Авторы пересмотрели правило выбора соседей в FMT$^{*}$, продемонстрировав, что минимальные изменения этого правила позволяют перейти от однопроходного подхода к многопроходному. Теперь алгоритм может обновлять значения cost-to-come при обнаружении лучших путей без потери асимптотической оптимальности и высокой вычислительной эффективности. Используется комбинация общего приоритетного очереди с выбранным условием обновления, которое использует расширяющийся сосед для определения и переоценки любого узла с потенциально субоптимальным путем. Этот метод позволяет эффективно исправлять субоптимальные маршруты в процессе изменения среды, сохраняя эффективность FMT$^{*}$. #### Результаты Эксперименты показали, что FMT$^{x}$ быстрее реагирует на изменения в среде по сравнению с RRT$^{x}$, при этом потребляя меньшие вычислительные ресурсы. Алгоритм обеспечивает высокую скорость реакции и эффективное использование ресурсов, что делает его оптимальным выбором для реального времени в планировании маршрутов в непредсказуемых средах. #### Значимость Предлагаемый подход может быть применен в различных робототехнических системах, включая роботы-помощники, автомобили-роботы, а также в системы-сироты в складских системах. Он обеспечивает быструю реакцию на изменения и низкое потребление ресурсов, что делает его привлекательным для реального времени. Будущие исследования будут ориентированы на улучшение метода FMT$^{x}$ для более сложных сред и увеличения скорости их выполнения. #### Выводы FMT$^{x}$ является эффективным и асимптотически оптимальным решением для планирования маршрутов в динамических средах. Он позволяет эффективно исправлять маршруты при изменении среды, сохраняя высокую эффективность и асимптотическую оптимальность. Дальнейшие исследования будут нацелены на улучшение производительности и расширение применений этого подхода.

## Контекст Квадроторы в широких приложениях, таких как доставка, съемка и поиск-спасание, часто сталкиваются с проблемами навигации вокруг крупных препятствий, таких как стены или грунт. Существующие алгоритмы на основе оптимизации часто не могут эффективно решать эти задачи, в то время как методы на основе увеличения проблем успешно решают проблемы с тесными проходами, но сталкиваются с трудностями при работе в сложных средах. Это свидетельствует о необходимости разработки методов, которые могут обрабатывать широкий спектр сцен навигации. Мотивирует этот подход желание создать более универсальную систему навигации, которая могла бы использоваться в различных условиях. ## Метод Предложенный подход основывается на усиленном обучении (reinforcement learning), который использует симулятор с разностным дифференцированием (differentiable simulation) для эффективного обучения. В качестве дополнительной информации используется время прибытия (time-of-arrival, ToA), которое позволяет системе оценивать время, затраченное на достижение цели. Для решения проблем с якорным расположением (yaw alignment) внедрена новая функция потерь, которая помогает аккуратно направлять квадротор вокруг больших препятствий. Метод оценивается в средах с фотореалистичной симуляцией, включающих крупные препятствия, тупые углы и тупики. Это дает возможность проверить систему в условиях, напоминающих реальность. ## Результаты Эксперименты проводились в средах с фотореалистичной симуляцией, в которых квадротор должен был пройти маршрут, преодолевая крупные препятствия. Алгоритм показал успешность в 86% случаях, что значительно превосходит базовые стратегии, показывающие уровень 52%. Для проверки практической реальности, политика была развернута на квадроторе в реальных условиях. На внешних участках с нагруженной средой были проведены 20 полётов, пройденных на расстоянии 589 метров, без каких-либо коллизий и с максимальной скоростью 4 м/с. Это подтверждает эффективность метода в реальных условиях. ## Значимость Разработанный подход имеет широкие применения в различных областях, включая доставку посылок, поисковые операции и съемку в крупных городах, где наличие больших препятствий является обычным фактором. Он превосходит существующие методы, обеспечивая более высокую точность и надежность в сложных условиях. Это делает его привлекательным для использования в реальной жизни, где эффективность и безопасность являются приоритетными. ## Выводы Результаты показывают, что предложенный подход позволяет более эффективно