#### Контекст В последние годы визуальные системы управления получили распространение во многих областях робототехники и автоматизации. Однако, обеспечение их безопасности в критических условиях остается вызовом. Безопасность визуальных систем управления часто зависит от добавления безопасности, защищающий систему от нежелательных действий в ситуациях, когда основная система управления не может обеспечить безопасность. Хотя безопасности в базовых системах уже описано, визуальные системы функционируют в значительно более сложной среде, где необходимо учитывать сложные структуры области и сложную взаимосвязь между системами. В этой работе мы исследуем возможности использования предварительно обученных визуальных моделей (PVRs) для создания эффективных безопасности визуальных систем управления. Наша мотивация заключается в том, чтобы использовать выгоды PVRs в предметных областях, не требующих полного обучения моделей, чтобы создать модели безопасности, которые могут быть успешно применены в критических средах. #### Метод Мы применяем предварительно обученные визуальные модели в качестве бэкбонов для различных задач, связанных с безопасностью визуальных систем управления. Мы рассматриваем три основных подхода: использование PVRs для классификации состояний, определяющих сети небезопасности; применение PVRs в моделях гамильтона-Джакоби (HJ) для вычисления решений безопасности; и использование PVRs для моделирования среды (world models). Для каждого подхода мы исследуем различные подходы к обучению моделей, включая обучение от начала (training from scratch), fine-tuning и заморозку моделей (freezing). Мы также проводим эксперименты, сравнивая эффективность PVRs в каждом подходе, и исследуем практические аспекты, такие как выбор модели для работы в ресурсораспределенных системах. #### Результаты Мы проводим эксперименты с популярными PVRs, такими как Vision Transformers (ViTs) и ResNet, и сравниваем их эффективность в различных задачах безопасности. Мы проверяем, насколько эффективно PVRs работают в качестве классификаторов для задач определения небезопасных состояний, а также их моделирование мировых процессов в визуальных системах управления. Мы также сравниваем результаты при использовании разных подходов к обучению (training from scratch, fine-tuning и freezing) и определяем, какая модель показывает лучший результат в каждом конкретном случае. Наши результаты показывают, что PVRs могут быть эффективными для создания безопасности визуальных систем, однако их выбор и настройка зависят от конкретных задач и ресурсов. #### Значимость Наши результаты показывают, что использование PVRs для создания б

## Контекст Одна из основных задач в области автономного вождения — обеспечение безопасности и адекватности динамического поведения автомобилей в условиях нестандартных и ненормальных затруднений. Активное развитие глубокого обучения позволяет эффективно использовать сети научного предсказания, однако эти модели чувствительны к шуму и ошибкам в реальных условиях. Это приводит к неточностям в оценке состояния, которые могут привести к потере стабильности и травматическим ситуациям. Недостаток надежных методов для контроля систем с глубоким обучением в центре внимания научных исследований. Кроме того, существуют проблемы с поддержкой вычислительной эффективности и гарантиями стабильности в системах моделирующих прогнозируемые действия. ## Метод Разработанная методология основывается на моделирующем прогностическом контроле (MPC), учитывающем влияние шума в модулях основанных на глубоком обучении. Метод использует констрейнтированные зонотопы для оценки возможных расхождений в прогнозах, что позволяет учесть ненормальные и тяжеловатые распределения шума. Для уменьшения вычислительных затрат прогнозная модель преобразуется в линейную программу, включающую минковский-ляпуновскую функцию, а также добавляется смещение для предотвращения нестабильных решений. Для стабильности используются ляпуновские неравенства и зонотопные вычисления, охватывающие области возможных состояний. ## Результаты Проведены симуляции и эксперименты на виртуальных и реальных системах. На основе реальных данных о сенсорном восприятии водителя проводились эксперименты на мобильном роботе с данными от зеркала-контроллера и аппаратуры распознавания объектов. Результаты показали, что разработанный подход эффективно контролирует систему, даже при ненормальных шумах, обеспечивая высокую точность и стабильность динамики. За счет использования констрейнтов зонотопов получены более точные оценки состояния водителя, что положительно сказывается на стабильности системы. ## Значимость Разработанный подход успешно применяется в автономных транспортных системах, предоставляя более точные прогнозы в условиях ненормальных шумов. Он может использоваться в робототехнике и системах поддержки решений в транспортных сетях. Работа показывает, что системы на основе зонотопов могут предсказать тяжеловатые распределения шума и латентные сигналы, что значительно повышает безопасность и точность объектной оценки в условиях реальных условий. ## Выводы Разработанный метод MPC предлагает сильный фундамент для надежного контроля автоно

#### Контекст Роботизированные системы играют ключевую роль в решении задач в опасных и удаленных окружениях, где требуется высокая точность и безопасность. Одним из таких систем являются роботы-четвероногие роботы с кинематическими руками, обладающие мобильностью и гибкостью для выполнения сложных операций. Однако, управление такими системами во время телеоперации сопряжено с рядом трудностей. В частности, недостаток интегрированных систем детектирования препятствий и неудобство интуитивного управления роботской рукой чревато увеличением риска коллизий в узких или динамически изменяющихся рабочих местах. Это вынуждает операторов использовать квалифицированные системы управления, которые требуют высоких навыков и имеют высокий когнитивный нагрузку. #### Метод Для решения этих проблем предлагается инновационный взгляд на телеоперацию, основанный на визуальной оценке положения руки оператора, преобразованной в команды для роботской руки. Алгоритм построения траектории обеспечивает безопасность, предотвращая коллизии с препятствиями и самой рукой. Модель визуального определения положения воспользовалась методами машинного обучения для точного выявления положения руки. Этот подход позволяет реализовать интуитивное управление, уменьшив когнитивный нагрузку на оператора и улучшив эффективность процесса. #### Результаты Набор экспериментов был проведен с использованием реального робота в условиях удаленного управления. Результаты показали, что система обеспечивает точную и быструю реагирование на команды оператора, даже в условиях жесткого временного ограничения. Особое внимание уделено избежанию коллизий и сохранению безопасности во время операций. Эксперименты подтвердили, что подход хорошо подходит для индустриальных приложений, где необходима обеспеченность, точность и простота управления. #### Значимость Предложенный подход может быть использован в различных областях, включая промышленность, где требуется безопасность и точность, а также в сфере медицины и поисковых операций в пушечных пространствах. Он обеспечивает удобство в управлении, повышает точность и сокращает риск коллизий. Будущие исследования будут направлены на улучшение модели положения руки и расширение функций для более сложных сред. #### Выводы Предложенная система телеоперации, основанная на визуальном определении положения руки, является эффективным решением для управления роботской рукой в реальном времени. Она обеспечивает безопасность и точность, упрощает управление и может быть использована в различных ин