## Контекст В последние годы повышается интерес к развитию методов, позволяющих роботам вести себя в сложных средах, особенно в задачах целостной манипуляции. Одной из основных проблем в этой области является нехватка методов, которые могут эффективно обрабатывать целостные задачи, в том числе те, которые требуют высокой точности в условиях динамических изменений. Эта сложность порождается накоплением ошибок при использовании имитационных методов обучения. Эти методы, хотя и эффективны в маломасштабных задачах, часто сталкиваются с трудностями в достижении высокой точности при работе с задачами, требующими длительного просмотра и точной координации. Мы предлагаем TrajBooster, алгоритм, который использует глобальную модель динамики для более точной рефинирования траекторий движений, улучшая результаты в сложных сценариях. ## Метод TrajBooster основывается на идее резидентного управления, которая добавляет дополнительные коррекции к основной политике. Но в отличии от предыдущих подходов, TrajBooster использует теорию Коопмана для моделирования глобальных динамических свойств в задачах целостной манипуляции. Это позволяет ему учитывать глобальные изменения состояния в процессе работы, что обеспечивает более стабильное и точное движение робота. Мы используем нейронные сети для моделирования этих глобальных свойств, что делает TrajBooster гибким и эффективным для различных задач. ## Результаты Мы проводили эксперименты на сложных задачах, включающих целостную манипуляцию, таких как сборка мебели, с использованием различных моделей роботов. Результаты показали, что TrajBooster показывает значительное улучшение в сравнении с другими методами, особенно в случаях, когда требуется высокая точность и устойчивость. Мы также провели эксперименты в условиях внешних помех, и TrajBooster показал высокую резистентность и гибкость в решении этих проблем. ## Значимость TrajBooster может быть применен в различных областях, где требуется точность и устойчивость движения роботов, например, в производстве, а также в сфере робототехники домашних услуг. Опытные исследования показали, что TrajBooster не только улучшает качество исполнения задач, но и сокращает время обучения, что делает его привлекательным для реального применения. Этот подход может стать ключевым элементом в развитии будущих роботизированных систем. ## Выводы Мы представили TrajBooster, новый подход к улучшению траекторий движения роботов в задачах целостной манипуляции. Наши результаты показали, что этот подход эффективен в различных условиях и может решать проблемы с целостной манипуляцией, требующими высокой точност

## Контекст Рост заболеваемости, старения населения и нехватка персонала в сфере здравоохранения приводят к необходимости развития ассистивных роботов, которые могли бы оказывать поддержку в физических задачах. Однако для того, чтобы эти роботы могли выполнять помощь безопасно и эффективно, необходимо точно предсказывать поведение людей во время физических взаимодействий. Это задача остается сложной из-за разнообразия ситуаций использования, вовлеченности различных динамических связей между людьми во время взаимодействия. Мы предлагаем решение на основе создания нового высококачественного датасета и инновационного моделирования с использованием трансформера. Это позволит улучшить понимание и моделирование физического взаимодействия, чтобы улучшить точность и доверие ассистивных роботов. ## Метод Мы предлагаем HHI-Assist, новый датасет, включающий моментовные съемки взаимодействий между людьми во время физических помощных потребностей. Для предсказания динамики взаимодействий мы разработали принципиально новую модель, основанную на улучшенной трансформерной архитектуре. Эта модель использует подход denoising diffusion, который позволяет эффективно предсказывать положения взаимодействующих субъектов. Мы использовали множество физических данных, чтобы обучить модель, чтобы она могла точно предсказать поведение в различных условиях. Модель также решает проблему необходимости выявления и моделирования связей между людьми, что делает ее уникальной и эффективной. ## Результаты Мы проверили нашу модель на HHI-Assist и сравнили ее с другими подходами. Результаты были захватывающими: наша модель не только выдавала более точные результаты в предсказании движений, но и показывала значительно более высокую универсальность в неизвестных сценариях. Мы провели исследования, включая различные типы помощных действий, и продемонстрировали, что модель показывает лучшие результаты в отношении точности и устойчивости. Эти результаты подтверждают, что наш подход может стать ключевым во внедрении роботов в сферу помощи в физических задачах. ## Значимость Мы видим, что наш подход может быть применен в различных сферах, включая здравоохранение, социальные услуги и роботизированные системы в жилых помещениях. Важность нашей работы заключается в том, что она не только улучшает предсказание движений, но также предоставляет новые возможности для развития роботов в сфере помощи. Мы видим возможность применения нашего решения для улучшения качества жизни, особенно для старшего поколения. Наша модель может стать основой для развития будущих

## Контекст В области видения и языка (Vision-and-Language Navigation, VLN) существует значительный интерес к разработке систем, которые могут понимать и выполнять инструкции в контексте визуального окружения. Однако существующие методы сталкиваются с проблемами, такими как необходимость обширного обучения, высокая сложность моделей и ограниченная гибкость в работе с неизвестными средами. Это приводит к сложностям в реальном применении. Наша мотивация состоит в разработке простого, эффективного и универсального подхода, который может работать в неизвестных средах без дополнительного обучения, обеспечивая высокую универсальность и надежность. ## Метод Мы предлагаем фреймворк, основанный на оптимизации графа с ограничениями (GC-VLN), для VLN. Методология построена на декомпозиции инструкций на графы, где каждая инструкция представляется в виде директивного ациклического графа (Directed Acyclic Graph, DAG). Этот граф содержит три типа узлов: возможные путевые точки (waypoint nodes), объекты (object nodes) и ребра (edges). Данные узлы используются для поиска в библиотеке пространственных признаков (spatial constraint library), чтобы сформировать ограничения для графа. Затем используется констрейнт-сулвер (Constraint Solver) для оптимизации этого графа и вычисления пути к цели. Чтобы справиться с ситуациями отсутствия решений или множественных решений, мы используем навигационное дерево с алгоритмом обратного вывода (backtracking). ## Результаты Мы проводили первые эксперименты на трёх стандартных бенчмарках VLN: R2R, REVERIE и VLN-CE. Наши результаты показали значительный прирост в успешности и эффективности сравному текущим методам с использованием графов с ограничениями. Например, на R2R, наш метод показал увеличение успешности в 15% по сравнению с лучшим тренируемым методом. Также, в реальных экспериментах на роботе, мы продемонстрировали гибкость и универсальность нашиго фреймворка при работе с новыми инструкциями и неизвестными средами. ## Значимость Наш подход широко может применяться в реальных ситуациях, таких как робот-уборки, мониторинг и другие задачи видения и языка, где необходима автономная и универсальная система. Он обеспечивает высокую точность и скорость работы без необходимости в дополнительном обучении. Это делает его эффективным решением для развития автономных систем видения и языка. ## Выводы Мы представили новый фреймворк для VLN, основанный на оптимизации графов с ограничениями, который не требует дополнительного обучения и показал высокую эффективность на реальных задачах. Наши результаты открывают путь к будущим исследованиям в области высокоунив

## Контекст Динамические и контакт-богатые демонстрации, доступные в хенд-обджект моушн-каптур (MoCap) репозиториях, обещают ускорить прогресс в области декстерного робототвоения. Однако в этих демонстрациях часто существуют проблемы, такие как неточности, несоответствие моделируемой системы и существующих данных, а также высокая степень комплексности. Эти характеристики ограничивают возможности использования данных в существующих методах. Методы, основанные на стадиях, таких как перетargetинг, трекинг и коррекция резидуальных ошибок, либо неэффективно используют данные, либо создают цепочку ошибок, которая ухудшает результаты. В настоящей работе предлагается Dexplore — новая система, которая объединяет ретаргетинг и трекинг в единое решение, чтобы напрямую извлекать политики управления из данных MoCap на большой шалу. ## Метод Dexplore предлагает новый подход к обучению политик управления для декстерного робототвоения. Вместо того, чтобы рассматривать демонстрации как «земляные истины», Dexplore использует их как гибкие руководства, которые подстраиваются под конкретные задачи. С помощью глубокого обучения, включая reinforcement learning, метод учитывает адаптивные пространственные скопления, что позволяет политике управления оставаться в рамках демонстрационных данных, а также минимизировать контрольный усилие. Этот подход не только позволяет избегать ошибок, связанных с точностью демонстраций, но и позволяет роботу вырабатывать свои собственные стратегии. Данный подход широко масштабируется и обеспечивает высокую устойчивость к шуму в данных. ## Результаты Для проверки Dexplore были проведены эксперименты на различных руко-объектных сценариях, включая тухлые и контакт-богатые демонстрации. Было показано, что Dexplore эффективно извлекает политики управления из данных MoCap, даже если эти данные содержат существующие ошибки. Также было показано, что полученные политики очень устойчивы к шуму и могут применяться в реальном мире. Эксперименты показали, что Dexplore не только улучшает точность, но и обеспечивает более органичное взаимодействие робота с объектами. Также были проведены эксперименты с генеративным контроллером, подтвердив, что Dexplore может хорошо справляться с большим количеством данных и выполнять различные задачи. ## Значимость Предлагаемый подход Dexplore может быть применен в различных областях, включая не только робототвоение, но и другие прикладные задачи, требующие точного управления. Он обеспечивает ряд преимуществ, включая высокую точность, устойчивость к шуму и масштабируемость. Эти п

## Контекст Область исследования, связанная с визуальными, языковыми и действительностными моделями (VLA), набирает обороты в связи с развитием робототехники и автоматизации. Необходимость эффективных систем, умеющих взаимодействовать с окружающим миром на основе визуальных и языковых сигналов, становится ключевой в развитии роботов, способных выполнять сложные задачи. Однако существуют серьезные проблемы, такие как сложность адаптации моделей к конкретной области применения, необходимость оптимальной интерпретации входных данных и выработка эффективных стратегий декодирования. Эти задачи требуют новых подходов, чтобы обеспечить создание моделей, которые были бы высокопроизводительными и применимыми в реальной жизни. ## Метод Методология LLaDA-VLA основывается на развитии архитектуры, основанной на моделях размытия текста (d-VLMs), которые были адаптированы для области визуального и языкового взаимодействия с действительными действиями. Основными инновациями являются: (1) **локализованная стратегия классификации специальных токенов**, упрощающая адаптацию модели к задачам робототехники, и (2) **иерархическая стратегия декодирования действий**, рассматривающая структуру и зависимости между действиями. Эти подходы позволяют значительно упростить процесс обучения и увеличить точность решений в задачах робототипических задач. ## Результаты В ходе экспериментов LLaDA-VLA протестировалась на широком кругу задач, включая симуляционные и реальные условия. Модель была сравнена с современными соревновательными решениями в области VLA. Результаты показали прирост эффективности, достигнутое благодаря локализованной классификации токенов и иерархической стратегии декодирования. Эти результаты привлекли внимание, поскольку LLaDA-VLA показала значительное превосходство в скорости и точности решения задач, что указывает на значительный потенциал модели в автоматизации и робототипических задачах. ## Значимость Модель LLaDA-VLA может быть применена в различных сферах, включая робототехнику, здравоохранение и домашнюю автоматизацию. Она обеспечивает значительное улучшение в обработке сложных задач, уменьшая время обучения и улучшая качество решений. Достоинства LLaDA-VLA заключаются в увеличенной точности, простоте адаптации к новым задачам и высокой скорости вывода решений. Эти преимущества открывают новые возможности для создания более удобных и эффективных систем роботов, которые могут работать в реальных условиях. ## Выводы Разработка LLaDA-VLA является первым примером модели Vision-Language-Diffusion-Action

## Контекст Фондационные модели (foundation models) значительно преобразуют область проницательности автономного вождения, перейдя от задач-ориентированных, узкоспециализированных нейронных сетей к гибким, универсальным архитектурам. Эти модели обучаются на огромных и разнообразных наборах данных, что позволяет им эффективно решать многочисленные задачи проницательности. Тем не менее, существуют значительные проблемы, включая слабость в общеприменимости, масштабируемости и устойчивости к распределительным сдвигам. Эти ограничения приводят к необходимости разработки новых подходов, которые могут обеспечить безопасную и надёжную проницательность в динамичных средах. ## Метод Данная статья применяет подход, основанный на понимании ключевых проблем проницательности, включая ограничения общеприменимости и устойчивости к динамическим средам. Основной акцент ведётся на выявление и исследование четырёх ключевых качеств, необходимых для эффективного решения этих проблем: 1) общее знание, 2) пространственное понимание, 3) многосенсорная устойчивость, и 4) временное рассуждение. Каждое из этих качеств изучается в широком контексте, позволяя выявить существующие технологические решения и их применения. ## Результаты На основе описанной методологии проведено несколько экспериментов, включая анализ существующих моделей и их устойчивости к различным ситуациям. Данные, использованные в экспериментах, относятся к различным сценариям проницательности автомобилей, включая ситуации с плохим светлом, погодовыми условиями и высокой скоростью. Полученные результаты показали, что фондационные модели показывают значительные улучшения в общей производительности по сравнению с более узкоспециализированными моделями. Однако они также сталкиваются с проблемами, такими как высокие требования к ресурсам и проблемы с безопасностью. ## Значимость Фондационные модели имеют широкий спектр применений, включая автоматические системы управления транспортом, системы поддержки водителей и системы безопасности. Они обеспечивают значительные преимущества, включая уменьшение стоимости разработки моделей, увеличение точности и быстроту обучения. Однако, необходимо учитывать и потенциальные риски, такие как высокий потребление ресурсов и проблемы модели, связанные с халюцинациями и проблемами, связанными с выходом за диапазон данных. ## Выводы Эта статья демонстрирует значительные прогрессы в использовании фондационных моделей для решения проблем проницательности в автономном вождении. Однако, возникают задачи, связан

#### Контекст Visual-based localization (VBL) широко используется в различных приложениях, включая автоматизированные системы сбора данных, беспилотные летательные аппараты (БЛА) и виртуальная реальность. Однако, несмотря на прогресс в области VBL, его производительность снижается в больших пространственных областях, таких как сети городских проезда и долгосрочные задачи оптического потока. Это приводит к замедлению вычислений и ухудшению точности определения положения. Основные проблемы, вызывающие эти снижения, включают изменения освещения, динамические сцены и зоны с низким контрастом. Такие факторы негативно сказываются на функционировании системы, а также на возможности надёжного и стабильного отслеживания. Мы стремимся решить эти проблемы с помощью продвинутого метода, который основывается на самосупервизованном обучении, чтобы обеспечить более прочные и информативные функции, чтобы повысить надежность и точность VBL в сложных средах. #### Метод Мы предлагаем метод, основанный на самосупервизованном обучении, чтобы повысить качество функций визуального отслеживания. Наш подход включает два этапа: экстракция и отслеживание. В первом этапе мы используем самосупервизованную функцию для извлечения визуальных признаков, которые направлены на создание более стабильных и информативных данных. Это позволяет значительно повысить точность и надежность в сложных условиях. Во втором этапе мы используем динамическую модель для отслеживания этих признаков в пространстве. Мы также внедряем техники, которые обеспечивают взаимодействие между этими двумя этапами, чтобы обеспечить стабильность и улучшение общей производительности. Эта архитектура позволяет нашему методу быть прочным и производительным в различных условиях, включая темные, яркие и динамические сцены. #### Результаты Мы провели ряд экспериментов для оценки нашего метода. Для этого мы использовали данные из наборов KITTI и TUM-RGBD. Наши эксперименты показали, что наш метод превосходит существующие другие технологии в области VBL по многим критериям, включая стабильность отслеживания, точность и общую производительность. Мы также проверили нашу модель на наборах данных с темными и яркими условиями, а также на сценах с низким контрастом и динамичными объектами. Результаты показывают, что наш метод обеспечивает значительное улучшение в сравнении с другими методами, что делает его более надежным и эффективным для использования в реальных ситуациях. #### Значимость Метод, представленный в нашей работе, имеет широкие перспективы применения в различных областях, включая автоматизиро

## Контекст Robot navigation в динамичных, центрирующихся на человеческой активности средах требует социально комплайентных решений, основанных на надежном понимании сцены. Видение-языковые модели (VLMs) продемонстрировали большой потенциал в области обнаружения объектов, коммуникативного мышления и контекстуального понимания. Однако неясно, смогут ли эти модели корректно понимать сложные социальные сцены, включая взаимодействия между агентами и интерпретацию человеческих намерений, что необходимо для безопасного и социально корректного навигационного поведения. Несмотря на то, что недавние исследования исследовали применение VLMs в социальной навигации, на данный момент не существует систематического подхода к оценке их удовлетворения этих критериев. Мы предлагаем SocialNav-SUB, бенчмарк VQA, который оценивает VLMs для понимания сцен в сценариях социальной навигации. ## Метод SocialNav-SUB — это VQA-датасет, созданный для оценки VLMs в задачах понимания сцен в робототехнической навигации. Он содержит задачи, включающие спатиальное, спатиотременное и социальное разумение. Мы использовали современные VLMs для экспериментов и сравнили их с правилами и базовыми социальными моделями. Этапы исследования включили сбор данных, разработку бенчмарка и разработку новых подходов для оценки VLMs. ## Результаты Мы провели эксперименты с лучшими VLMs, установив их эффективность в понимании сцен, сравнив с результатами базовых моделей. Лучшая VLM показала высокую точность во многих задачах, но значительно отстала от простых правилальных подходов и социальных моделей в задачах, требующих глубокого социального понимания. Это указывает на существующие проблемы в их возможностях по социальной сцене в навигации. ## Значимость Важность SocialNav-SUB заключается в том, что он предоставляет фреймворк для оценки VLMs в реальных социальных сценариях. Он открывает путь для новых исследований по созданию базовых моделей для социальной навигации, помогая определить направления улучшения этих моделей. Эта работа может иметь значимые последствия для развития безопасной и эффективной робототехники в социальных средах. ## Выводы Мы заключаем, что хотя VLMs демонстрируют замечательные возможности в социальной навигации, они еще не достигли нужного уровня для полного удовлетворения требований. SocialNav-SUB устанавливает новый направленный подход к исследованию и усовершенствованию VLMs для социальной навигации, чтобы они могли безопасно и эффективно взаимодействовать в социальных средах. Будущие исследования будут сосредоточены на улучшении способности VLMs к социальному пониманию и их применении в реальных практических с

## Контекст Современные биоинспирированные эвент-камеры отличаются высокой темпоральной разрешающей способностью, высокой динамической диапазоном и низким энергопотреблением. Эти особенности делают их привлекательными для мотивированных приложений, таких как оценка мотивации, роботизированная перцепция и объектное распознавание. Особенно важной является их использование в эго-мотивировании, где визуально-инерциальные системы широко применяются благодаря своим комплементарным характеристикам, таким как скалирование и малая дрёма. Однако для эффективного использования этих систем требуется точная спатиотмоporal (экстринская и темпоральная) калибровка. Несмотря на значительные усилия по развитию методов калибровки, существуют трудности в достижении высокой точности, особенно при работе с эвент-камерами. Мы предлагаем eKalibr-Inertial, новую систему для точной калибровки спатиотмоporal визуально-инерциальных систем, которая решает эти проблемы. ## Метод eKalibr-Inertial основывается на проверенных методах калибровки сетки, развитых в рамках eKalibr и eKalibr-Stereo. Оно использует сетку-шаблон для активации эвент-камеры и получения точных значений данных. Метод начинается с эффективной инициализации, которая обеспечивает точные начальные оценки всех параметров. Далее, за основу взята батч-оптимизация в непрерывном временном ряду, которая использует синхронизацию времён и геометрические ограничения для достижения точности. Этот подход позволяет обеспечить высокую точность калибровки в реальном времени и улучшить стабильность системы. ## Результаты Мы провели ряд реального мирового эксперимента, используя различные условия калибровки и движения. Результаты показали, что eKalibr-Inertial достигает высокой точности калибровки в сравнении с другими методами. Мы также проверили точность внешних и внутренних параметров системы. Эти эксперименты подтвердили, что наша система может обеспечить точную калибровку в реальном времени, что является ключевым для приложений, таких как роботизированная перцепция. ## Значимость eKalibr-Inertial может быть применено в различных областях, включая мотивированные приложения, роботизированные системы и объектное распознавание. Его основные преимущества заключаются в том, что он обеспечивает высокую точность и стабильность калибровки, что влечёт за собой улучшение производительности систем визуально-инерциального сенсорного ввода. Данная работа может повлиять на развитие технологий в перспективных областях, таких как мотивированные роботы и автономные транспортные средства. ## Выводы Мы представили eKal

#### Контекст Роботизация различных процессов требует эффективного обучения моделей, позволяющих роботам выполнять широкий спектл задач с минимальным количеством демонстраций. Одной из основных проблем является необходимость многократного повторения демонстраций для точного научения роботам выполнять задачи в различных условиях. Это приводит к затратности во времени и ресурсах. Кроме того, ограниченные запуски могут привести к неполной обработке всех возможных ситуаций. Недавно развивающиеся 3D-генерирующие модели, способные получить полную форму объекта из небольшого количества изображений, могут стать ключевым решением. Однако их потенциал в области обучения моделей в ситуациях, отличающихся от демонстрации, еще не полностью исследован. #### Метод Мы предлагаем метод **OP-Gen (Omnidirectional Policies through 3D Generative Models)**, который позволяет улучшить обучение моделей в условиях ограниченных демонстраций. Работа основывается на использовании 3D-генерирующих моделей для расширения демонстрационных данных. Это достигается путем генерирования дополнительных изображений объектов из разных углов и позиций, чтобы воссоздать различные возможные конфигурации объекта. Затем эти генерируемые данные используются для обучения политики, которая может выполнять задачи в реальном мире независимо от начального положения робота. Это расширение данных позволяет роботу осуществлять задачи даже тогда, когда начальное положение находится на значительном расстоянии от того, которое было видно во время демонстрации. #### Результаты Мы проверили эффективность OP-Gen на нескольких задачах, включая захват предметов, открытие шкафа и сбор мусора. Для этого мы провели эксперименты в реальном мире, используя данные, полученные с помощью 3D-генерирующих моделей. Отметим, что наши результаты показывают, что OP-Gen демонстрирует значительный выигрыш в производительности по сравнению с другими методами, которые используют стандартные методы дата-аугментации. Мы также изучили динамику работы политик в различных условиях, включая запуск робота с очень дальней позиции от объекта, что позволило увидеть полноту и устойчивость нашего подхода. #### Значимость Метод OP-Gen может быть применен в многочисленных областях, включая автоматизацию производственных процессов, домашнюю роботизацию и улучшение роботизированных систем в сложных средах. Одним из ключевых преимуществ является снижение необходимости в повторных демонстрациях, что ускоряет и улучшает обучение моделей. Кроме того, подход позволяет роботу выполнять задачи в новых условиях, не схожих с теми, которые были доступны во время обуч