AnySafe: Adapting Latent Safety Filters at Runtime via Safety Constraint Parameterization in the Latent Space

## Контекст В последние годы становится все более очевидным, что безопасность роботов и автономных систем требует новых подходов, которые могут адаптироваться в реальном времени к различным условиям. Одним из ключевых аспектов является возможность контроля безопасности в сложных визуальных задачах, где определение безопасности не всегда может быть точно задано заранее. Этот фактор ограничивает применение методов, таких как Hamilton-Jacobi (HJ) reachability analysis, в области визуальных задач, так как эти методы требуют явного определения безопасности в момент разработки. Целью данной работы является развитие методов, позволяющих адаптировать безопасность в реальном времени, учитывая различные пользовательские задачи и условия окружения. ## Метод Мы предлагаем **AnySafe: Adapting Latent Safety Filters at Runtime via Safety Constraint Parameterization in the Latent Space**, который является новым подходом к адаптивному управлению в задачах визуального контроля. Основная техническая идея заключается в том, чтобы определить безопасность в задаче управления, используя кодировку изображения, представляющего конкретный критерий безопасности. Для этого мы используем метод **latent-space similarity measure**, который позволяет объединить безопасность и пользовательский запрос в виде изображения. Для контроля "близости к сбою" мы применяем **conformal calibration**, чтобы гарантировать что система может близко подойти к пороговой безопасности, но не превысить его. Наша методика предусматривает тренировку безопасности внутри **world model's imagination**, что делает ее возможной для применения в любых визуальных задачах. ## Результаты Мы проверили эффективность нашего метода в симуляционных и аппаратных экспериментах с использованием робота **Franka manipulator** в задачах визуального контроля. В экспериментах показано, что наша методика может адаптироваться к разным пользовательским задачам, изменяя безопасность в реальном времени. Мы проводили эксперименты с разными представлениями безопасности в качестве запроса (например, изображения с границами, которые не должны быть преодолены) и показали, что **AnySafe** может адаптироваться к этим изменениям безопасности без потери качества. Также, мы провели анализ того, как работает **conformal calibration** и показали, что она позволяет контролировать "близость к сбою", уменьшая риск нарушения безопасности. ## Значимость Наш метод можно применять в различных сценариях, где визуальное управление требует быстрого адаптирования к разным условиям. Он может использоваться в задачах, где требуется контроль безопасности в реальном времени в сложных визуальных средах, таких как визуальное слежение за объектами, автономные транспортные системы, и други