#### Контекст Роботизированные протезные руки представляют большой потенциал для восстановления возможности выполнять повседневные задачи у людей, страдающих трансрадиальными ампутациями. Однако проблемами, стоящими перед современными моделями управления, является недостаточная устойчивость к нестандартным реальностям и неограниченному разнообразию объектов. Традиционные системы определения захватов строятся на ограниченных данных, в том числе тренировочных базах, которые не могут полностью охватить реальность. Это приводит к значительному снижению точности при определении захватов на неизвестных объектах, что сказывается на доступности и качестве жизни пользователей. Для решения этого, необходимо развитие моделей, которые могут обнаруживать и адаптироваться к новым объектам, не входящим в обучающие наборы. #### Метод Мы предлагаем **Grasp-LLaVA**, модель, которая использует технологии графики и языка для точного определения захвата. Она включает в себя три основных компонента: (i) **semantic projection**, которая определяет моделью возможность обобщения на неизвестные объекты; (ii) **Grasp-LLaVA**, где используется гибридное рассуждение, которое моделирует человеческие модели рассуждения для определения типов захвата, основываясь на физических характеристиках объекта; (iii) **Hybrid Grasp Network (HGN)**, система, которая разделяет работу между локальным (edge) и облачным (cloud) вычислениями, обеспечивая быстродействие на реальном времени и точность при необходимости. #### Результаты Мы оценили нашу модель на нескольких датасетах, включая набор данных с неизвестными объектами. **Grasp-LLaVA** показала значительное улучшение в сравнении с современными моделями, достигнув 50.2% точности для неизвестных объектов, в то время как лучшие модели современных систем оставались на уровне 36.7%. Благодаря **HGN**, мы достигли значительных улучшений в быстродействии, достигнув 86% усредненной точности на реальных объектах, что является значительной улучшением по сравнению с отдельным использованием моделей или edge-only решений. Добавление **confidence calibration (DC)** позволило повысить точность до 42.3% при работе с неизвестными объектами и уменьшить время вывода на 3.5 раз. #### Значимость **Grasp-LLaVA** и **Hybrid Grasp Network (HGN)** открывают новые возможности для улучшения контроля над протезными руками. Они могут быть применены в различных областях, включая лечебную аппаратуру, технологии для людей с ограниченными физическими возможностями и в области робототехники. Интеграция этих моделей в протезы может существенно улучшить их реакцию на новые объекты, предоставив пользователям более простой доступ к действиям в реа

## Контекст В области Human-Scene Interaction (HSI) существуют сложные задачи с длительным горизонтом (Long-Horizon, LH), требующие комплексного планирования, последовательного принятия решений и продолжительного выполнения действий. Такие задачи часто состоят из нескольких этапов, которые требуют грамотной координации потоков данных и выполнения задач в различных сценарных условиях. Однако, существующие методы, основывающиеся на цепочках умений (skill chaining), обучаются независимо для каждой подзадачи, что приводит к ограниченной мобильности между разными сценариями. Более того, эти методы не могут эффективно обрабатывать новые комбинации среды и задач, что приводит к недостаточной универсальности. Мотивация для настоящего исследования заключается в создании метода, который мощно решал бы эти проблемы, обеспечивая высокую гибкость и общую эффективность в ряде сложных LH-задач. ## Метод Для решения этих проблем предложена модель **DETACH** (Cross-Domain Learning for Long-Horizon Tasks via Mixture of Disentangled Experts). Она основывается на двух модулях: 1. **Module среды (Environment Learning Module)**: Отвечает за понимание пространственных свойств среды, таких как функции объектов, их взаимосвязи, а также семантические характеристики сцены. Данный модуль разделяет среду от состояния самого агента, позволяя достичь эффективного переноса среды в различные домены. 2. **Module действий (Skill Learning Module)**: Отвечает за выполнение задач, обрабатывая самостоятельно состояние субъекта, включая жесты моторных систем и движения. Этот модуль предоставляет возможность переноса навыков между различными задачами, независимо от среды. Для обеспечения эффективного комбинирования этих модулей в DETACH используется биологически вдохновленная модель "where-what", что позволяет динамически адаптироваться к новым задачам и сценариям. ## Результаты В ходе экспериментов было продемонстрировано, что DETACH увеличивает среднюю успешность выполнения подзадач на 23% в сравнении с существующими методами. Более того, эффективность выполнения задач улучшилась на 29%, что значительно сократило время завершения задач. Эти результаты были получены на различных сценариях HSI, включая задачи с разными уровнями сложности и различными характеристиками сред. Это свидетельствует о том, что DETACH получил высокую гибкость и может эффективно решать задачи в разных условиях. ## Значимость DETACH может быть применен в различных областях, таких как робототехника, интерактивные среды, а также в сфере обучения машин с целью решения LH-задач. Основное преимущество DETACH заключается в его универсальности и мощности в обработке новых сценариев с минимальным обучением. Это позволяет

#### Контекст Автоматизированная навигация внештатных дронов в закрытых пространствах представляет собой важную область исследований, особенно в условиях отсутствия GPS. Такие ситуации часто встречаются в защищенных зонах, промышленных помещениях и зданиях. Существующие решения часто сталкиваются с ограничениями по скорости обработки данных, точности восприятия окружения и убыточностью надёжности. Эти проблемы могут привести к негативным последствиям, таким как коллизии, неточности в маршрутизации и нехватка своевременных реакций. Это поощряет развитие систем, обеспечивающих высокую точность, быструю реакцию и уменьшение зависимости от навигационных систем, недоступных в закрытых пространствах. #### Метод Предложенная система основывается на сложном подходе, объединяющем несколько технологий для эффективного восприятия окружения и принятия решений. Основной архитектурой является мультимодальное восприятие, включающее в себя глубокое обучение для детектирования объектов с использованием YOLOv11, оценку диапазона и глубины с помощью Depth Anything V2, а также информацию об ориентации и движении, полученной через PCB с Time-of-Flight (ToF) сенсорами и IMU. Для обеспечения высокой надёжности и минимальной задержки в действиях используется многопоточная архитектура. Для повышения безопасности во время навигации в ограниченных пространствах, встроена виртуальная безопасная рамка, которая дополняется вычислительными моделями с помощью 3D bounding box estimation и Kalman filtering. Интеграция с облачными вычислениями позволяет выполнять тяжёлые вычисления на удалённых серверах, что повышает эффективность и повышает масштабируемость. #### Результаты Проведенные эксперименты в закрытом лабораторном условии показали высокую эффективность системы. Она достигла среднего значения значимости YOLOv11 для объектного распознавания (mAP50) в 0.6. Оценка диапазона (Depth Anything V2) показала ошибку средней абсолютной величины (MAE) в 7.2 см. В течение 42 циклов навигации, продолжительностью около 11 минут, произошло лишь 16 безобидных нарушений виртуальной безопасной рамки. Это свидетельствует о высокой надёжности системы. Замеры завершаются низкой задержкой обработки всей системы — менее 1 секунды с момента возникновения входных данных до принятия решения, что является ключевым фактором для успешной навигации в ограниченных пространствах. #### Значимость Система предлагает уникальные возможности для применения в различных областях, таких как промышленность, мониторинг инфраструктуры, поисковые операции и транспортная экспедици

## Контекст Современные вычислительные системы, включая мобильные платформы, мобильные роботы, интернет-девайсы и подключенные устройства, становятся все более запрограммированными и автоматизированными. Это приводит к необходимости использовать компьютерные алгоритмы, оптимизированные под ресурсы, которые доступны в этих устройствах. Тем не менее, нейросетевые контроллеры (NNC), широко используемые для моделирования и управления динамическими системами, часто превышают допустимые требования к производительности и памяти. Это делает их выгрузку на практических устройствах сложной. Данная работа фокусируется на методах, которые позволяют сделать нейросетевые контроллеры более эффективными в плане ресурсов, при этом сохраняя качество управления. ## Метод В этой работе предлагается методология, основанная на компонентно-ориентированной структурной усечении (component-aware structured pruning), которая позволяет определять оптимальную степень усечения для каждого раздела модели. Это сделано с целью балансировки между надежностью управления и эффективностью ресурсов. Метод был интегрирован в Temporal Difference Model Predictive Control (TD-MPC), современный алгоритм моделирования и контроля с использованием научных методов. Также в работе используются математические критерии стабильности, такие как Lyapunov-критерии, для гарантии устойчивости управления. Эта структурная усечение модели постоянно отслеживает критерии устойчивости, чтобы не допустить ухудшения управления. ## Результаты Эксперименты проводились на реальных данных с использованием TD-MPC. Метод был протестирован на различных наборах данных, включая имитационные симуляции и реальные тестовые установки. Результаты показали, что процедура структурного усечения не только уменьшает требования к памяти и вычислениям, но и сохраняет показатели управления на уровне, достаточном для безопасного и эффективного использования в реальных устройствах. Также был определен теоретический предел, на котором модель может быть сжата, не нарушая стабильности управления. ## Значимость Результаты этой работы могут быть применены в различных приложениях, включая мобильные роботы, интернет-девайсы и транспортные системы. Особым преимуществом является возможность изменения модели, обеспечивая оптимальную стабильность и производительность при минимальных требованиях к ресурсам. Это улучшает возможности создания эффективных систем управления, которые могут быть использованы в реальных устройствах. Это может привести к более широкому использованию нейросетевых моделей в практических приложениях, которые раньше были недо

## Контекст Область исследования, связанная с визуальным распознаванием и искусственным интеллектом, находится в центре внимания в последние годы из-за появления мощных моделей семантического визуального понимания. Однако, несмотря на развитие этих моделей, повышение качества взаимодействия с объектами в симуляционных средах остается вызовом. Обычно, агенты в таких средах сталкиваются с трудностями в распознавании и корректном взаимодействии с объектами из-за ограниченности их представления объектов. Мотивацией для данного исследования является повышение эффективности взаимодействия агента с объектами в симуляционной среде, чтобы позволить им выполнять более сложные задачи. ## Метод Разработанная методология включает в себя интеграцию двух ключевых компонентов: **Segment Anything Model (SAM)** и **YOLOv5** в качестве моделей визуального представления, а также **Proximal Policy Optimization (PPO)** в качестве агента для принятия решений. SAM и YOLOv5 используются для точного распознавания и сегментации объектов в симуляционной среде AI2-THOR. PPO, в свою очередь, оптимизирует поведение агента во время обучения с подкреплением. Основной архитектурой является комбинация этих моделей в одной среде, что позволяет агенту не только распознавать объекты, но и принимать решения о действиях на основе визуальных сигналов. ## Результаты На основе предложенной модели проведены эксперименты в четырех различных индорных кухонных средах. Результаты показали существенные улучшения по сравнению с базовым агентом, не использующим расширенное визуальное представление. Агент, использующий предложенную модель, показал 68% выше средней накопленной награды, 52,5% повышение успешности взаимодействия с объектами и 33% увеличение эффективности навигации. Эти показатели указывают на то, что интеграция визуальных моделей с RL может значительно повысить качество взаимодействия с объектами в симуляционных средах. ## Значимость Предложенный подход имеет широкие применения в сфере робототехники и симуляционных сред, где необходимо точное взаимодействие с объектами. Одним из преимуществ является улучшенная точность распознавания объектов и увеличение эффективности действий в среде. Это может привести к высокой точности и надежности в автоматизированных системах, например, в системах для сервисных роботов, которые должны решать задачи в различных условиях. Будущие исследования могут быть направлены на улучшение моделей визуального понимания и их интеграцию с другими методами задач RL. ## Выводы Предложенный подход, интегрирующий визуальные модели с RL, достиг зна

#### Контекст В последние годы мировые модели (world models), построенные на базе глубоких нейронных сетей, приобрели важное место в области управления и планирования движения для роботов. Эти модели позволяют предсказывать динамику среды и сделать прогнозируемым поведение системы в реальном времени. Однако существуют значительные проблемы, связанные с устойчивостью и дивергенцией, возникающими из-за спектральных и распределительных отклонений во время оптимизации. Эти проблемы сильно влияют на качество мировой модели во время инференции. Наша мотивация заключается в создании метода, улучшающего устойчивость и точность мировых моделей, даже при неполном данных во время обучения. #### Метод Для решения указанных проблем мы предлагаем использовать **variational autoencoder (VAE)** в качестве детектора необычностей (novelty detector). Эта модель распознает отклонения в траектории действий от тех, которые были применены во время обучения. Мировая модель, основанная на VAE, проверяет предлагаемые траектории действий на соответствие тренировочному дистрибутиву. Если отклонение выявляется, траектория отклоняется, чтобы избежать дивергенции модели. Мы также используем архитектуру **DINO-WM**, которая уже успешно применяется в моделировании мировых пространств для роботов. #### Результаты Мы провели эксперименты в симулированных средах с роботом, где требовалась сложность планирования и высокая точность моделирования. Мировая модель, расширенная VAE-детектором, показала существенное улучшение в данной области по сравнению с традиционными алгоритмами. Мы измерили **data efficiency** и **plan quality**, получив результаты, свидетельствующие о значительной улучшении в производительности и надежности. Также мы проводили сравнительные эксперименты с другими современными методами, подтверждая выигрыш в области данных и системных ресурсов. #### Значимость Предлагаемый подход к детектированию необычностей в мировых моделях может быть применен в различных областях, где важно обеспечивать работу моделей в условиях неполного данных или изменчивости среды. Например, в области машинного зрения, робототехники, и системах самовосстановления. Основное преимущество — улучшение устойчивости и эффективности моделирования в различных условиях. Это может способствовать более точному и надежному решению задач в условиях неопределенности, таких как ограниченные данные во время выполнения. #### Выводы В данной работе мы предложили новый подход к обеспечению устойчивости мировых моделей с помощью VAE-детектора. Мы показали, что наше решение улучшает качество и эффективность планирования в симулированных сре

## Контекст Область исследования связана с развитием общих (generalist) политик действий (policies) для роботов, которые могут выполнять широкий спектр задач в разных средах. Актуальной проблемой в этой области является ограниченность моделей в области общей целесообразности (generalization capability) — возникающая из-за того, что модели, при недостаточном разнообразии в обучающих данных, начинают опираться на специфические, но не значимые для решения задачи фичи (shortcut learning). Это проблема становится особенно яркой при работе с большими датасетами, которые состоят из независимых поддатасетов, собранных в различных условиях. Целью работы является не только идентификация факторов, которые способствуют этой проблеме, но и поиск способов ее устранения. ## Метод Для научного исследования использовались два основных подхода. Во-первых, был проведен теоретический анализ, позволяющий выявить основные причины shortcut learning — недостаточную разнообразность в поддатасетах и значимые различия в их распределениях (dataset fragmentation). Во-вторых, проводились эмпирические эксперименты, в ходе которых были протестированы различные модели на разных поддатасетах, а также на варьированных вариантах данных с помощью техник разметки и аугментации. Таким образом, было установлено, как разнообразие и структура данных влияют на общую способность модели к общей целесообразности. ## Результаты В ходе экспериментов был выявлен, что роботские модели, обученные на недостаточно разнообразных или сильно разбитых поддатасетах, используют в своих решениях сильно зависящие от контекста, но незначимые для задачи фичи. Были проведены ряд экспериментов с аугментацией данных, которые показали, что стратегия добавления новых, разнообразных обучающих примеров может существенно улучшить общую способность модели. Также были проанализированы результаты работы моделей на различных симуляционных и реальных задачах, что подтвердило тот факт, что улучшение разнообразия данных и их структуры позволяет значительно снизить уровень shortcut learning. ## Значимость Результаты работы имеют практическое значение для развития общих моделей действий для роботов. Они позволяют улучшить общую способность моделей, уменьшая риск зависимости от незначимых для задачи фич. Это влечет за собой рост эффективности в различных приложениях, включая управление роботами в различных ситуациях, включая нестандартные. Данные подходы также могут быть применены в учебных датасетах для роботов, чтобы снизить риск ошибок в ситуациях, где новые данные недоступны или дорогостоящи. ## Выводы Основным достижением является выявление того, что ограниченность раз

**Резюме** В работах по физической коллаборации роботов с людьми (pHRC) важным аспектом является детекция контактов человека с объектами для обеспечения безопасности и эффективности работы. Эта работа предлагает расширение методов бинарной детекции (мягких и твердых объектов) на трехклассовую детекцию. Набор данных, собранный с помощью робота Franka Emika Panda, был использован для тренировки моделей на основе LSTM, GRU и Transformer. Метод скользящего окна (sliding window) оказался оптимальным для предварительной обработки временных рядов. Лучшая модель показала долю правильных ответов 91,11% при реальном временном тестировании, подтвердив возможность применения трехклассовой детекции в pHRC. Эта работа открывает путь к более точной интерпретации контактных ситуаций и улучшению задач коллаборации.

Недавние достижения в области multimodal large language models (MLLMs) обеспечили богатый perceptual grounding для generation code policies в embodied agents. Однако, существующие системы часто не имеют эффективных механизмов для адаптивного мониторинга исполнения политик и исправления кода при выполнении задач. В данной работе мы предлагаем HyCodePolicy — гибридную языковую систему управления, которая систематически объединяет code synthesis, geometric grounding, perceptual monitoring и iterative repair в замкнутый цикл программирования для embodied agents. HyCodePolicy декомпозирует натуральные языковые инструкции на subgoals и генерирует исполняемый program, границы которого определяются object-centric geometric primitives. В ходе выполнения в simulation, vision-language model (VLM) идентифицирует и локализует execution failures, интерпретируя их причины. Объединение structured execution traces и VLM-based perceptual feedback позволяет HyCodePolicy исправлять program с минимальным human supervision. Наши результаты показывают, что HyCodePolicy существенно улучшает robustness и sample efficiency manipulation policies, предлагая scalable аппроксимацию multimodal reasoning в autonomous decision-making pipelines.

Обеспечение качественной воздушной среды в закрытых пространствах является ключевым фактором для здоровья и безопасности людей, особенно в условиях распространения авианосных заболеваний. В настоящей работе представлено решение AeroSafe, направленное на повышение эффективности систем воздушного очистителя с помощью тестового комплекса с беспилотным эмулятором кашля и моделирования туманов на основе цифровых двойников. Традиционные портативные фильтры часто не учитывают концентрацию респираторных аэрозолей, генерируемых кашлем, что создает риск, особенно в высокосетревой обстановке, таких как медицинские учреждения и общественные пространства. Работа предлагает роботизированный двухагентный эмулятор, в котором манекен с имитируемыми кашлём и портативный фильтр обрабатывают туманы в реальном времени. Данные от эмулятора используются для обучения модели цифровых двойников, объединяющей физическую модель и методы машинного обучения (LSTM сети и графовые слои). Эксперименты показали, что модель предсказывает динамику концентрации туманов с ошибкой в 35 секунд. Обработка в реальном времени аэрозолей позволяет превзойти статический размещение фильтров, демонстрируя перспективы AeroSafe в снижении риска воздействия авианосных заболеваний.