Enhancing Reliability in LLM-Integrated Robotic Systems: A Unified Approach to Security and Safety

## Контекст Интеграция больших языковых моделей (LLMs) с роботизированными системами представляет собой переломный момент в развитии искусственного интеллекта, обладающий возможностями для продвинутого самостоятельного принятия решений и адаптации. Однако, несмотря на эти преимущества, существуют серьезные проблемы, связанные с обеспечением надежности таких систем. Эти вопросы включают обеспечение безопасности систем от атак, таких как привлечение внимания (prompt injection attacks), а также обеспечение безопасности в работе в условиях сложных и непредсказуемых сред. Недостаток доказательств надежности остается главной преградой для развертывания таких систем в реальном мире. Для решения этой проблемы предлагается новая, универсальная модель, которая способна обеспечить противодействие таким атакам, в то же время сохраняя высокую степень безопасности в работе в различных средах. ## Метод Разработанная модель основывается на трех ключевых компонентах: пайплайн для создания и сборки строк запросов (prompt assembling), система управления состоянием (state management) и система валидации безопасности (safety validation). Prompt assembling позволяет генерировать надёжные и универсальные запросы к модели. State management обеспечивает гармоничное взаимодействие модели с окружающей средой, контролируя поток взаимодействий. Наконец, safety validation используется для проверки всех входных данных и выходных результатов, чтобы предотвратить нежелательные результаты, включая небезопасные или неграмотные ответы. Фреймворк логически структурирован, чтобы обеспечить многоуровневую защиту, что делает его универсальным для использования в различных роботизированных системах. ## Результаты Для оценки эффективности разработанного подхода проведены подробные эксперименты в различных условиях работы системы. Эксперименты показали, что фреймворк увеличивает выполнение задач безопасности на 30.8% при атаках типа "привлечение внимания", а также увеличивает производительность в условиях работы в сложных средах на 325% по сравнению с базовыми ситуациями. Эти результаты подтверждают, что программа эффективно решает проблему безопасности и надежности LLM-интегрированных роботизированных систем, даже при сложных условиях работы. Основные метрики экспериментов включают производительность, скорость реакции и устойчивость к атакам. ## Значимость Разработанная модель имеет широкие приложения в области роботика, включая домофонов, системы автоматизации, мобильные роботы и другие системы, на которых основываются LLM-модели. Основными преимуществами являются свойство стабильности, надежности и безопасности в работе. Это делает её осо