📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Haochen Gong, Chenxiao Li, Rui Chang, Wenbo Shen
## Контекст
Одним из перспективных направлений развития интеллектуальных технологий является создание компьютерных агентов, позволяющих пользователям управлять компьютером с помощью естественного языка. Эти агенты, основанные на больших языковых моделях (LLM), объединяют в себе возможности программного обеспечения и алгоритмов машинного обучения, делая взаимодействие с компьютером более естественным и продуктивным. Однако использование LLM не без проблем. Их неопределенность и нежелательное поведение при непредвиденных входных данных могут привести к серьезным последствиям, когда агент получает права на управление компьютером. Например, неверные действия могут привести к потере данных, вредоносному ПО или даже утечке конфиденциальной информации. Эти угрозы становятся еще более актуальными в условиях увеличения зависимости от цифровых систем. Есть необходимость в разработке систем, обеспечивающих безопасность и эффективность управления агентами.
## Метод
CSAgent представляет собой статическую систему управления доступом, основанную на контекстной модели, которая обеспечивает безопасность и эффективность управления компьютер-управляющими агентами. Ключевой инновацией является интеграция целей и контекстов в политики управления доступом. Для автоматизации процесса создания и тестирования политик, CSAgent предлагает инструментарий для разработчиков, который помогает формировать политики, учитывающие конкретные цели и контексты пользователя. Основным элементом системы является оптимизированный OS-сервис, который позволяет применять эти политики в реальном времени, проверяя действия агентов на соответствие целям и условиям. CSAgent работает в различных средах, включая API, CLI и GUI, что делает его широко применимым в различных ситуациях.
## Результаты
Результаты экспериментов показывают, что CSAgent эффективно защищает системы от 99.36% атак, в то же время добавляя минимальный производительностный overhead в 6.83%. Это достигается благодаря интеллектуальной политике, которая анализирует контекст действия и принимает решения в реальном времени. Данные эксперименты проводились на различных системах с разным объемом данных и различными сценариями атак. Результаты показывают, что CSAgent может успешно определять и блокировать нежелательные действия, которые могут привести к безопасностным проблемам.
## Значимость
Система CSAgent имеет широкие возможности применения в различных областях, где требуется защита от нежелательных действий и мониторинг компьютер-управляющих агентов. Например, в области безопасности
Annotation:
Large language model (LLM)-based computer-use agents represent a convergence
of AI and OS capabilities, enabling natural language to control system- and
application-level functions. However, due to LLMs' inherent uncertainty issues,
granting agents control over computers poses significant security risks. When
agent actions deviate from user intentions, they can cause irreversible
consequences. Existing mitigation approaches, such as user confirmation and
LLM-based dynamic action validation, stil...