## Контекст В статье рассматривается проблема мультироботового планирования маршрутов и расписаний в условиях ограничений пространства и возможности столкновений. Данный вопрос широко применяется в различных областях, включая промышленность, транспорт, робототехнику и другие. Отсутствие эффективных методов планирования может приводить к коллизиям, дедлокам и неэффективности движения. В настоящем исследовании предлагается новая методика, основанная на теории оптимального транспорта и модели многошагового управления (MPC), которая способна успешно решить эту задачу. ## Метод Предлагаемый подход включает в себя формализацию задачи в терминах теории оптимального транспорта. Раннее планирование маршрутов и расписаний может привести к коллизиям, поэтому в качестве решения используется оптимальное транспортное отображение. Работа реализовывается в дискретной форме, где пространство разбивается на $K$ ячеек, и введен блок $K \times K$, определяющий стоимость перехода между ячейками. Оптимальное транспортное решение обеспечивает минимальные по стоимости переходы роботов к целям с необходимыми ограничениями. Для учета динамики и возможной перезаписи планов введена модель MPC, которая позволяет реагировать на изменения окружения и динамику движения. Алгоритм работает с вычислительными сложностями $\unicode{x1D4AA}(K^3\log K)$ в худшем случае и $\unicode{x1D4AA}(K^2\log K)$ для более гладких задач. ## Результаты Для тестирования подхода использовались симуляционные модели в различных сложностях. Были проведены эксперименты на плоском пространстве с $N$ роботами и $M$ целями. В результате получены следующие результаты: (1) гарантированные неколлизионные маршруты, (2) оптимальная стоимость планирования, (3) увеличенная эффективность в планировании в сравнении с традиционными подходами. Было доказано, что алгоритм MPC-OT может быстро адаптироваться к изменениям в пространстве и динамике робота. В целом, полученные результаты показали высокую эффективность и надежность предложенного подхода. ## Значимость Продемонстрировано, что предложенный подход может быть применен в различных сферах, включая промышленность, обслуживание, транспорт и робототехнику. Особенно выгоден для ситуаций, где требуется минимизировать коллизии, оптимизировать время и энергию. Предложенный подход может быть использован в городских системах транспорта, в заводах с многороботной системой, в проектировании роботов и других сферах. Кроме того, данный подход может быть дополнен и усовершенствован в будущем путем интеграции дополнительных моделей д

## Контекст В последние годы становится все более важной задачей развития роботов, которые могут безопасно и эффективно двигаться в помещениях, заполненных людьми. Для этого необходимо точно предсказывать движение людей и избегать переполненных мест. Однако существующие модели сталкиваются с проблемами: микроскопические модели требуют высокой вычислительной стоимости, что делает их неэффективными для работы в реальном времени, в то время как макроскопические модели, как правило, либо слишком простые, либо требуют очень ресурсоемких вычислений. Это приводит к затруднению создания реального времени моделирования потока людей, что ограничивает возможности для создания социально ориентированных планировок роботов. Наша цель — разработать модель, которая была бы легковесной, эффективной в реальном времени и с балансом между точностью и вычислительными затратами. ## Метод Мы предлагаем новую модель, сочетающую подходы макроскопического моделирования с понятиями точного расчета для потока людей. Наша модель состоит из двух частей: 1) фильтрации на основе простых, но эффективных алгоритмов для определения перемещение групп людей и 2) упрощенная система предсказания, которая использует эти данные для определения тенденций движения. Мы также используем специальные приемы, чтобы уменьшить вычислительный затрат, например, используя быструю оценку пространственных фильтров для быстрого обработки данных. Баланс между простотой и точностью позволяет нашей модели быть эффективной в нормальных условиях и тех, когда много людей в одном пространстве. ## Результаты Мы проверили нашу модель на трех разных наборах данных, которые отражают различные условия движения людей в заполненных местах. Наши эксперименты показали, что модель дает результаты, превосходящие существующие модели по точности предсказания через время и простотой. Мы удалили лишние вычислительные затраты, но при этом улучшили точность предсказания на 3,1%. Кроме того, уменьшили время выполнения модели на 3,6 раз, что делает ее идеально подходящей для роботов, работающих в реальном времени. Модель продемонстрировала свою эффективность в социально ориентированной планировке роботов, что позволяет роботу эффективно двигаться в заполненных людьми пространствах. ## Значимость Модель, описанная в нашей работе, широко может быть использована в различных приложениях, таких как магазины, аэропорты, гостиницы и другие места, где роботы должны взаимодействовать с людьми. Она предоставляет более точные предсказания потока людей, что позволяет роботам меньше мешать

#################################################### ## Контекст #################################################### **Контекст** Коллективное обучение (Collaborative Learning) является ключевым подходом для улучшения производительности и адаптивности многоробочных систем в решении сложных задач. Однако оно сталкивается с значительными затруднениями, связанными с высокой нагрузкой на связь (communication overhead) и сложностями, возникающими из-за неоднородности данных (data heterogeneity), обусловленной разнообразием задач и окружающими условиями. Эти проблемы становятся особенно актуальными в средах, где роботы должны ориентироваться в реальном времени, адаптироваться к изменениям и обрабатывать неидентичные данные (non-IID data). В настоящей работе предлагается CoCoL (Communication Efficient Decentralized Collaborative Learning) — метод, специально разработанный для многоробочных систем, где участники обучаются на неоднородных локальных данных. CoCoL рассчитан на минимизацию объема связи и вычислительных затрат, чтобы обеспечить высокую эффективность и точность в таких сложных условиях. #################################################### ## Метод #################################################### **Метод** CoCoL основывается на рамках Мира (Mirror Descent), которая позволяет организовать эффективные обновления с приближенным новыон-типом (approximate Newton-type updates). Данный подход позволяет значительно сократить нагрузку на связь, так как эти обновления учитывают семантическую схожесть между локальными функционалами задач. Для того, чтобы уменьшить вычислительные затраты, CoCoL применяет методы решения опорного суб-задачи с неточностью (inexact sub-problem solutions). Кроме того, в CoCoL внедрена схема отслеживания градиентов (gradient tracking), которая повышает устойчивость метода к неоднородности данных и позволяет роботам координировать свои решения в условиях варьирующейся топологии сети (time-varying network topologies). Это делает CoCoL легко адаптируемым к различным сложностям, таким как неидентичность данных (non-IID), потоковые данные (streaming data) и динамические сетевые структуры. #################################################### ## Результаты #################################################### **Результаты** Исследования проводились на трех представительных задачах многоробочного коллективного обучения. Эксперименты показали, что CoCoL значительно уменьшает число требуемых сетевых раундов и объем потребляемой пропускной способности (bandwidth) по сравнению с текущими методами. Это достигается без потери точности, которая соответствует состоянию техники (state-of-the-art accuracy). В частности, на задаче неидентичных данных (non-IID), где роботы обучаются на различных подвыборках, CoCoL показал существенный выигрыш в скорости обучения и уменьшение потребления ресурсов. Также были проверены сценарии с потоковыми данными и меняющейся топологией сети, где CoCoL подтвердил свою высокую устойчивость и эффективность. #################################################### ## Значимость #################################################### **Значимость** CoCoL может быть применен

## Контекст Летательные аппараты, такие как дроны, могут выполнять удивительные и сложные акробатические маневры, но создание систем управления для таких маневров часто требует от программистов ручного проектирования сложных моделей и взаимодействий. Традиционные подходы, такие как ручное создание функций наград, часто не достаточно точны и могут не учитывать стилистические приоритеты, которые человеки могут иметь в отношении движений. Это приводит к неэффективности в разработке и невысоком качестве маневров. Задача состоит в том, чтобы разработать метод, который может учитывать стилистические приоритеты человека при разработке управления для дрона. Это также поможет улучшить точность и стиль маневров, а также сделать разработку более эффективной и доступной. ## Метод Мы используем **Preference-Based Reinforcement Learning (PbRL)**, который позволяет агентам учитывать человеческие предпочтения во время обучения, вместо того, чтобы использовать ручно сконструированные функции наград. В этом исследовании мы применяем **Preference PPO**, расширенный с помощью **Reward Ensemble under Confidence (REC)**, чтобы улучшить точность и стабильность обучения. Мы используем симуляторы для разработки и тестирования политик, а также переходим к физическим дронам для реального применения. Мы также используем **MuJoCo** для проверки нашей модели в пространстве непрерывного управления. Это позволяет нам разработать управление, которое наиболее близко к тому, что люди хотели бы увидеть в акробатических маневрах. ## Результаты Мы провели эксперименты, используя данные из симуляторов и реальных дронов. Мы сравнивали наш метод с традиционным Preference PPO и получили результаты, показывающие, что **REC** улучшает показатели на 33.2%, получая 88.4% от награды, сравниваясь с 55.2% у Preference PPO. Мы также проводили эксперименты в **MuJoCo**, где показали, что наша модель может быть применена в контексте непрерывного управления. Мы также продемонстрировали, что ручное проектирование наград может привести к только 60.7% согласованности с человеческими предпочтениями, что продемонстрировано на простых задачах управления. Эти результаты показывают, что **PbRL** эффективен в понимании и выполнении сложных, стилистических приоритетов в акробатической полетовке. ## Значимость Наш метод может быть применен в различных областях, включая разработку управления для дронов и других летательных аппаратов. Он позволяет улучшить точность и стиль маневров, что может быть полезно в сценариях, где стиль и точность критически важны. Мы также продемонстрировали, что наш подход может быть применен в **MuJoCo** для непрерывного управления, что означает, что он может быть применен в различных сц

## Контекст Планирование действий в высокомерном пространстве, таких как те, где присутствуют деформируемые объекты, требует высокоэффективных, но при этом вычислительно трактовекных моделей динамики. Однако существуют сложности в создании моделей, которые могут быть как вычислительно трактовельными, так и достаточно выразительными для решения задач с деформируемыми объектами. Это ставит перед исследователями вопросы о том, как создавать модели, которые были бы оптимальными как с точки зрения вычислительной сложности, так и с точки зрения качества решения задачи. ## Метод Метод представляет собой автоматическую генерацию динамических моделей, оптимизированных для конкретной задачи, используя адаптивную резолюцию. Метод определяет, какие области объекта требуют высокого разрешения для достижения хорошего качества планирования. Модель основывается на классе различных диффузионных моделей, которые предсказывают резолюцию модели для каждой региональной части объекта. Оптимизационный процесс включает два этапа: 1. **Предиктивное Оптимизационное Решение**: Использование предварительной модели динамики для определения резолюции. 2. **Оптимизация Замкнутого Цикла**: Напрямую оптимизируются параметры модели, используя замкнутый цикл планирования и контроля, чтобы найти лучший результат в условиях данного задания. ## Результаты Используя данную модель, проводились эксперименты на задаче управления деревом. Наблюдалось увеличение скорости планирования на 2 раза в сравнении с применением полноразрешения модели, при этом замечено только небольшое ухудшение качества решения задачи. Это демонстрирует, что модель действительно эффективна и может быть применена в реальной ситуации, где необходимо быстро решать задачи. ## Значимость Метод может быть применен в различных областях, где необходимо эффективное планирование в высокомерных пространствах, например, в робототехнике, в транспортной системе, или в производстве. Он позволяет экономить ресурсы вычислений, не ухудшая значительно качество решения задачи. Это может привести к более широкому применению моделей динамики в сложных системах, где существуют ограничения на ресурсы или требуется быстрое решение. ## Выводы Исследование установило новую парадигму для сгенерированных динамических моделей, которая позволяет быстро решать задачи, используя целевой подход. Будущие исследования могут быть направлены на усовершенствование метода, увеличение точности модели и её применение в различных контекстах.

## Контекст Осуществление точных декстеровных манипуляций широко используется в различных приложениях, включая робототехнику, медицинские устройства и автоматизацию производства. Однако, несмотря на успехы в обучении распределяемых моделей для таких задач, выявлены проблемы, такие как ограниченная надежность и нестабильность в выполнении задач, особенно при обработке тонких дифференциальных сигналов или выполнении сложных операций, таких как вставка объекта. Эти проблемы часто генерируются из-за недостатка данных, описывающих критические моменты манипуляции. Актуальной является задача развития методов, позволяющих улучшить надежность и устойчивость роботских систем в таких задачах. ## Метод Мы предлагаем метод Pause-Induced Perturbations (PIP), который использует детекцию моментов "идла" (idling) в действиях робота для улучшения поведения и устойчивости изучаемых моделей. "Идлинг" (idling) — это состояние, при котором робот прекращает движение в определенной области состояний и не может выполнить требуемую задачу. Метод PIP применяет минимальные корректирующие пертурбации в эти моменты, что позволяет роботу "экспериментировать" за пределами локальных оптимумов и увеличивает надежность поведения. Архитектура логики PIP основывается на моделировании сенсорных сигналов, выявлении "идлинга" и динамическом воздействии на систему для ее выхода из негативных локальных минимумов. ## Результаты Мы проверили наш метод на симуляционных задачах двойного-рукопашного манипулятора, включающих уточненную обработку и вставку объектов. Использовалась синтетическая и реальная ситуация для оценки. Набор экспериментов показал, что PIP увеличивает успешность выполнения задач на 15-35% в зависимости от сложности задач. Результаты показывают, что наш подход превосходит другие методы, такие как фильтрация данных или изменение частоты управления, которые могут привести к ухудшению других аспектов производительности. Более того, PIP не требует дополнительной сверхучения и оказывается эффективен даже в условиях неопределенности в данных. ## Значимость Предложенный подход может быть применен в сложных декстеровых задачах, где необходимо улучшить надежность и устойчивость роботских систем. Он может пригодиться в производственной автоматизации, где роботы должны выполнять точные и сложные движения, в медицине, где требуется тщательная обработка, и в жизнеспособных средах, где устойчивость модели к различным факторам варьирования критична. Наш подход отличается тем, что он не требует дополнительной сверхучения и может быть интегрирован в уже существующие сист

## Контекст Robot-контрольные и ресурс-аллокационные приложения чрезвычайно важны для функционирования высокотехнологичных систем. Одним из ключевых аспектов этих приложений является обеспечение безопасности в ходе исполнения задач. Несмотря на то, что традиционные подходы к policy learning включают широкие действия, подобные поведение может привести к нежелательным результатам, таким как коллизии или ресурсовая неэффективность. Для решения этой проблемы было предложено введение action constraints, чтобы гарантировать строгую безопасность и эффективность. Однако внедрение action constraints в алгоритмы imitation learning не так просто и требует учета нескольких нюансов. В частности, существует проблема несоответствия occupancy measure между экспертом (который может действовать в более широком диапазоне действий) и imitator (который ограничен в action space). Это несоответствие требует новых подходов, чтобы эффективно обучать imitator при соблюдении action constraints. ## Метод Мы предлагаем новый подход к Action-Constrained Imitation Learning (ACIL), который называется DTWIL. Он основывается на методе Dynamic Time Warping (DTW) для решения проблемы несоответствия occupancy measure. Мы реализуем DTWIL в виде Model Predictive Control (MPC), что позволяет нам рекурсивно решать задачу безопасного и эффективного обучения. В DTWIL мы заменяем оригинальные данные эксперта на сгенерированные surrogate trajectories, которые более тесно адаптируются к action constraints imitator. Эти surrogate trajectories создаются путем поиска минимума DTW distance между экспертными и surrogate данными, чтобы гарантировать более близкий align со стационарными требованиями. Этот подход позволяет уменьшить разброс во взаимодействии с expert data и увеличить sample efficiency. ## Результаты Мы провели ряд экспериментов для оценки эффективности DTWIL. Тесты проводились на моделях robot control и resource allocation с разными action constraints. Для этих тестов мы использовали данные от эксперта с более широким action space, а также сгенерированные surrogate datasets. Модели, обученные с помощью DTWIL, показали значительное улучшение в sample efficiency и performance в сравнении с традиционными imitation learning algorithms, такими как GAIL и BC. Эти результаты подтверждают то, что DTWIL значительно улучшает надежность и эффективность обучения в ситуациях, когда action constraints применяются. ## Значимость DTWIL имеет широкие применения в сферах, где требуется обеспечение безопасности в robot-контроллере и ресурс-аллокационных системах. Например, в robotics, где необходимо избежать коллизий, и в resource-allocation applications, где требуется эффективное использование ресурсов. Наш подход позволяет не только обеспечить безопасность, но и увеличить sample efficiency, что является ключевым преимуществом в задачах, требующих быстрого обучения в реальном времени. ## Выводы Мы представили новый подход к Action-Constrained Imitation Learning, который решает проблему несоответ

Описание статьи по структуре: ## Контекст Область исследования — offline imitation learning (IL) — целевая задача, связанная с повторением поведения эксперта в задачах управления, когда доступ к полной динамике среды ограничен. Ограниченная доступность информации становится главной проблемой для масштабирования IL. Это мотивирует исследователей развивать методы, которые могут работать с ограниченным доступом к данным эксперта. Особенно сложно становится в случаях, когда подготовленные демонстрации требуются для управления сложными системами, такими как роботы-квадрупеди, где данные демонстраций ограничены и дорогостоящи. Авторы предлагают решение, основанное на предварительной обучении динамических представлений, что позволяет повысить эффективность IL даже при ограниченных данных. ## Метод Предлагаемый метод основывается на предварительном обучении динамических представлений, выделенных из факторизации транзитивных динамик. Теоретически показано, что оптимальные решения offline IL могут быть получены в этом пространстве представлений, что существенно сокращает объем параметров, необходимых для управления. Для обучения этих представлений используется модифицированная функция потерь на основе новостроенных оценок, которая позволяет эффективно учитывать различные данные. Эта модель позволяет использовать массу данных, собранных без участия экспертов, и эффективно перекладывает знания из симуляции на реальный мир, что устраняет проблему ограниченных данных. ## Результаты Исследования проводятся на данных MuJoCo и реальных квадрупедиях. Алгоритм продемонстрировал возможность хорошо моделировать экспертные политики даже при использовании минимальных данных, таких как одна траектория. На реальных роботах, особенно на квадрупедиах, алгоритм показал преимущества предварительного обучения динамических представлений, позволяя роботу выучивать поведение с небольшим количеством реальных демонстраций. Это подтверждает эффективность стратегии предварительного обучения и ее применимость к решению проблемы ограниченных данных в IL. ## Значимость Основными преимуществами нового подхода являются увеличение эффективности IL с ограниченными данными и универсальность изученного метода в различных динамических системах. Это может быть применено в различных областях, где важно повторить поведение эксперта с ограниченными данными, например, в робототехнике, автомобильных системах и других системах управления. Этот подход позволяет масштабировать IL, уменьшая необходимость в дорогостоящих данных экспертов и расширяя границы применения систем управления. ## Выводы Предло

## Контекст Динамическое управление мягкими континуум-роботами (SCRs) представляет собой задачу высокой технологичности, которая может расширить их применения в различных областях, включая хирургию, роботизированные производства и поисковые операции. Однако этот вид управления связан с высокими вычислительными требованиями из-за необходимости точных динамических моделей, что требует больших вычислительных ресурсов. Несмотря на то, что существуют подходы, основанные на операторе Купмана, они часто не могут адаптироваться к изменениям среды и не полностью охватывают сложную модель робота. В данной работе предлагается решение, основанное на нейронных сетях и физически обоснованной теории Cosserat, для реализации эффективного управления SCRs с высокой скоростью и точностью. ## Метод Методология, предложенная в статье, основывается на сочетании нейросетевого подхода и физически обоснованной теории Cosserat. Используется доменно декомпозированная физически информированная нейронная сеть (DD-PINN), которая является суррогатом динамической модели Cosserat-рода и обеспечивает скорость работы на 44000 раз выше, чем динамическая модель. DD-PINN также используется для оценки состояний и степени кривизны робота на основе положения конечного элемента. Для реализации модели-предсказательного управления (MPC) применяется нелинейная эволюционная стратегия, которая работает в реальном времени на GPU с частотой 70 Гц. Это позволяет MPC адаптироваться к изменениям в задаче и сохранять точность в управлении. ## Результаты В экспериментах, проведенных в симуляционной и реальной среде, показано, что MPC, основанный на DD-PINN, достигает высокой точности в отслеживании динамических траекторий и управлении с направленными положениями. Точность контроллера достигает 3 мм (2,3% от длины активного узла) в симуляционной среде и показывает аналогичные результаты в реальном мире. Кроме того, робот показывает ускорение до 3,55 м/с², что демонстрирует эффективность и скорость работы системы. Это число значительно превышает требования для большинства приложений. ## Значимость Предложенная система может быть применена в различных областях, где требуется точное управление сложными мягкими системами, таких как хирургические роботы, трубные роботы и другие динамические системы. Основное преимущество заключается в том, что DD-PINN уменьшает вычислительные требования и обеспечивает реальностремя-контроль. Благодаря этому, применение SCRs может быть расширено на новые области, где высокая скорость и точность критичны. ## Выводы Результаты показывают, что предложенный подход является эф

## Контекст Увеличение числа различных задач, с которыми сталкиваются роботы в реальном мире, приводит к появлению сложных проблем, связанных с энергоэффективностью и эффективностью динамической планирования маршрутов. Роботы, оснащенные разнообразными сенсорами, могут стабильно определять свое положение в полу-обнаруживаемых окружениях. Однако продолжительное включение всех сенсоров одновременно является не только энергоемким, но и неэффективным. Обычно используются методы, ориентированные на моделях, которые обрабатывают беззнаковые области, но они требуют постоянного включения сенсоров, что приводит к большим расходам. Исследователи пытаются разработать более эффективные методы, которые позволят роботам выполнять задачи с минимальным потреблением ресурсов. ## Метод Belief-Conditioned One-Step Diffusion (B-COD) — это планировщик, который способен в реальном времени выбирать минимальный набор сенсоров, необходимый для поддержания соответствующей расстояния позиционирования. Основная идея заключается в том, что данный планировщик способен вычислять расстояние до цели и прогнозировать распространение знаний о положении с помощью трех векторов: размера 10 метров, 10 миллисекунд и 10 терабайт. Метод использует распределенные сигналы, которые позволяют оптимизировать алгоритм для разных сценариев. Для улучшения достоверности решения используется метод прослойки размерности, который позволяет снизить количество вычислительных операций. ## Результаты Исследователи проверили систему на нескольких сценариях, в том числе на плавающих лодках в реальном времени. Отчеты обозначают, что B-COD способен уменьшить потребление энергии сенсоров на 50% в сравнении с базовыми методами. Оно показало способность точно определять местоположение без необходимости всегда включать все сенсоры. Кроме того, B-COD позволяет выделить лучший путь во время выполнения задачи, что делает его оптимальным в технических и энергетических аспектах. ## Значимость Этот подход может быть применен в различных областях, включая морские и авиационные операции, а также городские системы. Он позволяет экономить энергию, уменьшить время расчетов и обеспечить более точное навигационное положение. Благодаря своей гибкости, B-COD может быть усовершенствован для различных ситуаций и окружений, что делает его обширным инструментом для развития робототехники. ## Выводы Результаты исследований B-COD показывают, что этот метод может стать новой стандартной платформой для реального времени роботов, выполняющих точные задачи. Несмотря на то, что он уже демо