Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning
2508.07382v1
cs.AI, cs.LG
2025-08-13
Авторы:
He Kong, Die Hu, Jingguo Ge, Liangxiong Li, Hui Li, Tong Li
Резюме на русском
#### Контекст
Проблематика автоматизации подбора и тестирования уязвимостей систем широко известна в сфере кибербезопасности. Несмотря на развитие Large Language Models (LLMs), они всё ещё сталкиваются с рядом ограничений при использовании в penetration testing. Это включает неэффективность в реагировании на ошибки, недостаточную многошаговую рациональность и невозможность выполнения сложных задач в полной исчерпывающей формате. Эти ограничения приводят к необходимости развития более рациональных и адаптивных моделей для повышения эффективности.
#### Метод
Разработанный Pentest-R1 использует двухступенчатую схему работы на основе reinforcement learning. На первом этапе LLM проходит offline reinforcement learning с использованием большого набора данных, состоящего из реальных многошаговых walkthroughs. Это позволяет модели приобрести основные принципы атак. На втором этапе LLM участвует в interactive Capture The Flag (CTF), где она получает обратную связь от среды и изучает стратегии не только для решения задач, но и для самокоррекции ошибок. Это два этапа обеспечивают LLM с подробным пониманием задач и высокой степенью адаптивности.
#### Результаты
Проведенные эксперименты показали, что Pentest-R1 обеспечивает значительный прогресс в автоматизации penetration testing. На AutoPenBench он достиг 24.2% успешных попыток, приблизившись к стандарту Gemini 2.5 Flash и значительно превосходя другие модели. На Cybench Pentest-R1 показал 15.0% успешных задач в условиях неуправляемости, показав новую рабочую метку для open-source LLMs и совпадая с результатами топовых закрытых моделей. Анализы апбликации подтвердили важность сочетания обучения в оффлайн и онлайн стадиях.
#### Значимость
Pentest-R1 может иметь широкое применение в автоматизации безопасности и penetration testing. Он оптимизирует процессы, снижает зависимость от ручного участия экспертов и улучшает качество расчетов. Это может привести к более эффективному управлению уязвимостями и сокращению времени реакции в кибербезопасности.
#### Выводы
Результаты исследования подтверждают высокую эффективность Pentest-R1 в области penetration testing. Будущие исследования будут сосредоточены на улучшении моделей, интеграции с другими системами и расширении области применения.
Abstract
Automating penetration testing is crucial for enhancing cybersecurity, yet
current Large Language Models (LLMs) face significant limitations in this
domain, including poor error handling, inefficient reasoning, and an inability
to perform complex end-to-end tasks autonomously. To address these challenges,
we introduce Pentest-R1, a novel framework designed to optimize LLM reasoning
capabilities for this task through a two-stage reinforcement learning pipeline.
We first construct a dataset of over 500 real-world, multi-step walkthroughs,
which Pentest-R1 leverages for offline reinforcement learning (RL) to instill
foundational attack logic. Subsequently, the LLM is fine-tuned via online RL in
an interactive Capture The Flag (CTF) environment, where it learns directly
from environmental feedback to develop robust error self-correction and
adaptive strategies. Our extensive experiments on the Cybench and AutoPenBench
benchmarks demonstrate the framework's effectiveness. On AutoPenBench,
Pentest-R1 achieves a 24.2\% success rate, surpassing most state-of-the-art
models and ranking second only to Gemini 2.5 Flash. On Cybench, it attains a
15.0\% success rate in unguided tasks, establishing a new state-of-the-art for
open-source LLMs and matching the performance of top proprietary models.
Ablation studies confirm that the synergy of both training stages is critical
to its success.
Ссылки и действия
Дополнительные ресурсы: