Amazon Nova AI Challenge -- Trusted AI: Advancing secure, AI-assisted software development
2508.10108v1
cs.AI, cs.CL, I.2.7; I.2.6; E.0
2025-08-16
Авторы:
Sattvik Sahai, Prasoon Goyal, Michael Johnston, Anna Gottardi, Yao Lu, Lucy Hu, Luke Dai, Shaohua Liu, Samyuth Sagi, Hangjie Shi, Desheng Zhang, Lavina Vaz, Leslie Ball, Maureen Murray, Rahul Gupta, Shankar Ananthakrishna
Резюме на русском
## Контекст
AI-системы для с sup>офтарного разработки набирают все большую популярность, но вместе с этим увеличиваются и их риски. Одним из ключевых аспектов защищенного использования AI является обеспечение ее безопасности и надежности в процессе разработки программного обеспечения. Для решения этих проблем Amazon запустила Trusted AI track в рамках Amazon Nova AI Challenge — международного соревнования, в котором 10 университетов соревнуются в разработке безопасных AI-систем для разработки программного обеспечения. Соревнование позволяет глобальным экспертам демонстрировать свои технологии и проверить их на практике в живом режиме, а новые технологии позволяют трансформировать рынок. Цель соревнования — развитие технологий, обеспечивающих безопасность и надежность при разработке AI-систем.
## Метод
В соревновании принимают участие 10 команд, разделенных на две категории: 5 команд разрабатывают red-teaming bots, а 5 команд — safe AI assistants. Участники имели доступ к высококачественной аннотированной выборке данных для обучения и тестирования своих моделей. Кроме того, был разработан custom baseline coding specialist model, а также созданы инструменты для турнирных процессов. Методы разработки AI-систем включали reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking и efficient probing of large language models (LLMs). Организация турниров позволила протестировать эти методы в условиях адверсарского соревнования.
## Результаты
Участники соревнования достигли впечатляющих результатов на протяжении соревнования. Они разработали новые методы для обеспечения безопасности AI, в том числе научные разработки в области automated red teaming, safe AI assistants, и обеспечения гибкости моделей. В результате соревнования были достигнуты улучшения в области проблемы jail-breaking, проверки моделей и использования специализированных моделей. Также было разработано новый подход к обеспечению безопасности AI в рамках соревнований.
## Значимость
Результаты соревнования имеют значительное значение для области AI в разработке программного обеспечения. Исследования, разработанные в рамках соревнования, могут быть перенесены на широкий спектр применений, включая безопасное использование AI в разработке программного обеспечения. Этот подход может быть использован в различных сферах, в том числе в сфере fintech, здравоохранения, а также в области разработки AI-систем для безопасности. Это соревнование имеет потенциал для повышения уровня безопасности AI в развитии программного обеспечения.
## Выводы
В результате Amazon Nova AI Challenge были достигнуты впечатляющие достижения в области безопасности AI. Участники соревнования разработали новые технологии, которые могут быть использованы в будущем для с sup>офтарной разработ
Abstract
AI systems for software development are rapidly gaining prominence, yet
significant challenges remain in ensuring their safety. To address this, Amazon
launched the Trusted AI track of the Amazon Nova AI Challenge, a global
competition among 10 university teams to drive advances in secure AI. In the
challenge, five teams focus on developing automated red teaming bots, while the
other five create safe AI assistants. This challenge provides teams with a
unique platform to evaluate automated red-teaming and safety alignment methods
through head-to-head adversarial tournaments where red teams have multi-turn
conversations with the competing AI coding assistants to test their safety
alignment. Along with this, the challenge provides teams with a feed of high
quality annotated data to fuel iterative improvement. Throughout the challenge,
teams developed state-of-the-art techniques, introducing novel approaches in
reasoning-based safety alignment, robust model guardrails, multi-turn
jail-breaking, and efficient probing of large language models (LLMs). To
support these efforts, the Amazon Nova AI Challenge team made substantial
scientific and engineering investments, including building a custom baseline
coding specialist model for the challenge from scratch, developing a tournament
orchestration service, and creating an evaluation harness. This paper outlines
the advancements made by university teams and the Amazon Nova AI Challenge team
in addressing the safety challenges of AI for software development,
highlighting this collaborative effort to raise the bar for AI safety.