## Контекст Рост интенсивности исследований в области космических поисков и колонизации запускает новые вызовы для развития надежных автономных систем, которые могут эффективно функционировать в необычных и труднопредсказуемых клетных условиях. Одним из ключевых затруднений является недостаточность доступного исследовательского материала, а также высокая стоимость экспериментов в реальных условиях. Наблюдается недостаток системного понимания, каким образом роботы могут учиться в таких условиях, что делает невозможным практическое применение машинного обучения в космических задачах. Для решения этих проблем требуется разработка инструментов, позволяющих создавать и исследовать широкие разнообразия обучающихся распределений для роботов, продемонстрировав способность этих методов к реальной операции. ## Метод Space Robotics Bench представляет собой открытую симуляционную платформу, которая сочетает модульную архитектуру с возможностью процедурного генерирования на запрос и масштабируемым параллельным моделированием. Данная платформа позволяет разработчикам создавать богатые и разнообразные обучающие распределения, которые являются ключевым фактором для развития методов машинного обучения. Также, платформа включает комплект бенчмарков, охватывающих различные аспекты клетных задач, что делает ее идеальной для исследования проблем универсальности, контроля, полностью зрительной обработки и перехода от симуляции к реальному миру. ## Результаты На платформе проводились эксперименты с использованием стандартных алгоритмов машинного обучения, с последующим анализом их результатов. Данные эксперименты становятся основой для определения базовых значений для различных задач, таких как универсальность, конечно-точный метод обучения, адаптивное управление и переход от моделирования к реальной среде. Результаты показали, что методы могут быть успешно применены для развития систем, которые могут оперировать в реальных условиях, при этом освещаются ограничения текущих подходов и возможности их усовершенствования. ## Значимость Space Robotics Bench может быть использована в различных областях, включая разработку автономных систем для космических миссий, в том числе для исследований на луне, Марсе и других планетах. Ее основные преимущества заключаются в том, что она обеспечивает широкий доступ к симулятору, позволяющему проводить эксперименты в условиях мелкого и колоссального разнообразия задач. Это не только способствует продвижению науки в области космических систем, но и способствует созданию более устойчивых и надежных систем, которые могу

## Контекст Роботическая манипуляция требует эффективного интегрирования различных видов сенсорной информации, чтобы обеспечить стабильность и точность действий. Однако существующие подходы, такие как конкатенация фичей, часто оказываются неэффективными. Доминирующие модальности, такие как визуальная, могут подавлять менее заметные, но критичные сигналы, такие как тактильные. Более того, существующие модели не могут гибко приспособиться к новым модальностям или отсутствию существующих без переучения. Это приводит к неэффективности и нестабильности при мультимодальном манипулировании. Наша модель предлагает решение этой проблемы, используя многомодальную архитектуру, которая разделяет политику на отдельные модели для каждой модальности и использует адаптивный механизм для объединения их вкладов. ## Метод Мы предлагаем мультимодальную модель, основанную на диффузионных моделях, каждая из который отвечает за вывод одной конкретной модальности (например, визуальная или тактильная). Эти модели объединяются с помощью роутера, который вычисляет веса для каждой модальности в зависимости от задачи и условий. Это позволяет модели адаптироваться к новым или отсутствующим модальностям без необходимости переучиваться. Мы также используем аппаратные модели для симуляционных и реальных экспериментов, чтобы проверить эффективность наших подходов. ## Результаты В симуляционных экспериментах на RLBench, наши результаты показывают существенное превосходство над базовыми методами конкатенации фичей, особенно в задачах, требующих мультимодального разума. Мы также провели ряд реальной роботической манипуляции, включая задачи, такие как п selecting objects in clutter, in-hand spoon reorientation, и puzzle insertion. Модель показала высокую устойчивость к физическим помехам и помехам в сенсоре, что демонстрирует надежность в реальных условиях. Был проведен анализ важности модальностей, который показал, что модель адаптирует веса модальностей в зависимости от задачи и условий, чтобы максимально эффективно использовать информацию. ## Значимость Наш подход имеет широкие применения в области роботического манипулирования, особенно в задачах, требующих точности и реагирования на многочисленные сенсорные данные. Он предлагает значительные преимущества, такие как высокая гибкость, эффективность и устойчивость. Мы предоставляем потенциал для перевода этого подхода в промышленность, а также для расширения возможностей в реальном времени для более точного манипулирования, которое может иметь значительный вклад в развитие робототехники. ## Выводы Мы представили многомодальный подход к

## Контекст Multi-Agent Pickup and Delivery (MAPD) является усложненной формой Multi-Agent Path Finding (MAPF), требующей от агентов выполнять задачи с фиксированными точками подбора и доставки в последовательном порядке. Хотя learning-based методы демонстрируют улучшения в MAPD, они часто сталкиваются с проблемами в сложных средах, таких как хранилища, с узкими проходами и длинными коридорами. Эти окружения требуют сильной связности и глобального видения, но ограниченность локальных сенсоров и точечная связь в локальной модели не позволяют эффективно решить эти проблемы. В настоящей работе мы исследуем возможности применения моделей последовательностей для MAPD и доказываем, что подходы, основанные на sequence modeling, обладают order-invariant optimality, делая их применимыми для MAPD. Этот подход позволяет существенно уменьшить вычислительную сложность и заменить точечную связь на модель связи с широким покрытием. ## Метод Мы предлагаем Sequential Pathfinder (SePar), основанный на Transformer-парадигме, чтобы решить задачу MAPD. Модель SePar использует self-attention механизмы для implicit information exchange, обеспечивая глобальное видение и эффективное дистрибутивное распределение решений. Эта модель преобразует сложность вычислений из экспоненциальной в линейную, ускоряя решение в сложных средах. SePar также включает imitation learning в сложных задачах, таких как warehouse-like среды, что позволяет повысить точность и скорость решения, даже при недостаточном обучении на реальных данных. ## Результаты В экспериментах мы сравнили SePar с другими state-of-the-art методами в MAPD на разных наборах данных. Результаты показали, что SePar постоянно демонстрирует лучшие результаты в MAPD и их вариациях, превосходя другие learning-based методы в скорости и точности. Более того, SePar показал гибкость в общении с новыми, неизвестными средами и выполнении задач, которые приводят к коллизиям в стандартных подходах. ## Значимость Предлагаемый подход может быть применен в различных сложных средах, таких как роботов-дроны, автономные автомобили и warehouse management. Он предлагает существенные преимущества, включая снижение затрат на вычисления, увеличение скорости решения и гибкость в различных окружениях. Это может привести к улучшению производительности в задачах многоагентного управления в робототехнике и логистике. ## Выводы Мы доказали, что sequence modeling является эффективным подходом для MAPD и что SePar может быть значительным шагом в решении MAPD в warehouse-like средах. Наша модель показала лучшие результаты в сравнении с другими методами и обеспечила гибкость в работе с новыми средами. Будущие исследования будут направлены на дальнейшее улучшение модели и ее применение в задачах робототехнического управления.