AutoBnB-RAG: Enhancing Multi-Agent Incident Response with Retrieval-Augmented Generation

2508.13118v1 cs.CL, cs.CR 2025-08-20
Авторы:

Zefang Liu, Arman Anwar

Резюме на русском

## Контекст Активное увеличение числа киберугроз в современном мире привело к необходимости развития эффективных методов реагирования на киберинциденты. Инцидентное реагирование (IR) требует быстрых, координированных и информированных решений для эффективного уменьшения воздействия угроз. Несмотря на то, что бо LLM (большие лингвистические модели) показали себя как автономные агенты в симуляциях IR, их рассуждения часто ограничиваются недостатком внешней информации. Таким образом, необходимо развить методы, позволяющие LLMs доступа к внешней технической информации и историям киберугроз для улучшения решений. ## Метод Мы предлагаем AutoBnB-RAG, расширение AutoBnB-framework, которое включает в себя механизм Retrieval-Augmented Generation (RAG) для многоагентных систем IR. AutoBnB-RAG работает в Backdoors & Breaches (B&B) среде, в которой агенты используют механизм вопросов и ответов для доступа к внешней информации во время симуляций. Мы предлагаем два варианта внешней информации: справочник (RAG-Wiki) и отчеты об инцидентах (RAG-News). Эти механизмы позволяют агентам осуществлять запросы и использовать внешние источники в решении киберугроз. ## Результаты Мы проводили эксперименты в Backdoors & Breaches-среде с 8 различных конфигураций команд, в том числе с новыми аргументативными конфигурациями, стимулирующими критическое мышление. Мы также использовали реальные киберугрозы для проверки работы. Результаты показали, что использование RAG улучшает качество решений и успешность в различных структурах команд. Это демонстрирует значимость интеграции механизмов восстановления информации в многоагентные системы на основе LLMs для улучшения решений в области кибербезопасности. ## Значимость Метод AutoBnB-RAG может быть применен в различных сферах, где требуется быстрая и информированная действительность, таких как безопасность информационных систем, моделирование киберугроз и системы управления безопасностью. Этот подход позволяет повысить эффективность решений, уменьшить время реагирования и улучшить качество решений в кибербезопасности. Будущие исследования будут сфокусированы на расширении возможностей RAG-систем, улучшении точности и объема внешней информации, а также изучении различных типов киберугроз. ## Выводы Мы представили AutoBnB-RAG, расширяющую AutoBnB-framework, и использующую RAG-механизмы для улучшения многоагентных систем IR. Наши эксперименты показали, что RAG может улучшить качество решений и успех в различных структурах команд. Это демонстрирует значимость интеграции внешней и

Abstract

Incident response (IR) requires fast, coordinated, and well-informed decision-making to contain and mitigate cyber threats. While large language models (LLMs) have shown promise as autonomous agents in simulated IR settings, their reasoning is often limited by a lack of access to external knowledge. In this work, we present AutoBnB-RAG, an extension of the AutoBnB framework that incorporates retrieval-augmented generation (RAG) into multi-agent incident response simulations. Built on the Backdoors & Breaches (B&B) tabletop game environment, AutoBnB-RAG enables agents to issue retrieval queries and incorporate external evidence during collaborative investigations. We introduce two retrieval settings: one grounded in curated technical documentation (RAG-Wiki), and another using narrative-style incident reports (RAG-News). We evaluate performance across eight team structures, including newly introduced argumentative configurations designed to promote critical reasoning. To validate practical utility, we also simulate real-world cyber incidents based on public breach reports, demonstrating AutoBnB-RAG's ability to reconstruct complex multi-stage attacks. Our results show that retrieval augmentation improves decision quality and success rates across diverse organizational models. This work demonstrates the value of integrating retrieval mechanisms into LLM-based multi-agent systems for cybersecurity decision-making.

Ссылки и действия