Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents
2508.17155v1
cs.CR, cs.AI
2025-08-27
Авторы:
Derek Lilienthal, Sanghyun Hong
Резюме на русском
Ларе Хаги (LLM)-ободденные агенты становятся все популярнее, но их развертывание сопряжено с новыми безопасностными угрозами. Одной из таких угроз является time-of-check to time-of-use (TOCTOU), когда агент проверяет внешний состояние (например, файл или ответ API), который позднее может быть изменен перед использованием, что приводит к атакам, таким как незаконное изменение конфигурации или внедрение вредоносных данных. В работе представлен первый исследовательский подход к TOCTOU-уязвимостям в ходе работы LLM-агентов. Авторы представляют TOCTOU-Bench — бенчмарк, содержащий 66 реалистичных задач, позволяющий эффективно оценивать этот класс уязвимостей. Они также предлагают три стратегии countemеров: токсодаптивные приёмы системной безопасности, прогнозное переписывание примапов и инструментов-комбинирование. Исследование показывает, что эти методы уменьшают обнаружение уязвимости с 25% до 8%, снижают частоту генерации уязвимых планов и сокращают окно атаки с 12% до 95%. Результаты открывают новую направление исследований, соединяющее охрану AI и системную безопасность.
Abstract
Large Language Model (LLM)-enabled agents are rapidly emerging across a wide
range of applications, but their deployment introduces vulnerabilities with
security implications. While prior work has examined prompt-based attacks
(e.g., prompt injection) and data-oriented threats (e.g., data exfiltration),
time-of-check to time-of-use (TOCTOU) remain largely unexplored in this
context. TOCTOU arises when an agent validates external state (e.g., a file or
API response) that is later modified before use, enabling practical attacks
such as malicious configuration swaps or payload injection. In this work, we
present the first study of TOCTOU vulnerabilities in LLM-enabled agents. We
introduce TOCTOU-Bench, a benchmark with 66 realistic user tasks designed to
evaluate this class of vulnerabilities. As countermeasures, we adapt detection
and mitigation techniques from systems security to this setting and propose
prompt rewriting, state integrity monitoring, and tool-fusing. Our study
highlights challenges unique to agentic workflows, where we achieve up to 25%
detection accuracy using automated detection methods, a 3% decrease in
vulnerable plan generation, and a 95% reduction in the attack window. When
combining all three approaches, we reduce the TOCTOU vulnerabilities from an
executed trajectory from 12% to 8%. Our findings open a new research direction
at the intersection of AI safety and systems security.
Ссылки и действия
Дополнительные ресурсы: