## Контекст AI-системы для с sup>офтарного разработки набирают все большую популярность, но вместе с этим увеличиваются и их риски. Одним из ключевых аспектов защищенного использования AI является обеспечение ее безопасности и надежности в процессе разработки программного обеспечения. Для решения этих проблем Amazon запустила Trusted AI track в рамках Amazon Nova AI Challenge — международного соревнования, в котором 10 университетов соревнуются в разработке безопасных AI-систем для разработки программного обеспечения. Соревнование позволяет глобальным экспертам демонстрировать свои технологии и проверить их на практике в живом режиме, а новые технологии позволяют трансформировать рынок. Цель соревнования — развитие технологий, обеспечивающих безопасность и надежность при разработке AI-систем. ## Метод В соревновании принимают участие 10 команд, разделенных на две категории: 5 команд разрабатывают red-teaming bots, а 5 команд — safe AI assistants. Участники имели доступ к высококачественной аннотированной выборке данных для обучения и тестирования своих моделей. Кроме того, был разработан custom baseline coding specialist model, а также созданы инструменты для турнирных процессов. Методы разработки AI-систем включали reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking и efficient probing of large language models (LLMs). Организация турниров позволила протестировать эти методы в условиях адверсарского соревнования. ## Результаты Участники соревнования достигли впечатляющих результатов на протяжении соревнования. Они разработали новые методы для обеспечения безопасности AI, в том числе научные разработки в области automated red teaming, safe AI assistants, и обеспечения гибкости моделей. В результате соревнования были достигнуты улучшения в области проблемы jail-breaking, проверки моделей и использования специализированных моделей. Также было разработано новый подход к обеспечению безопасности AI в рамках соревнований. ## Значимость Результаты соревнования имеют значительное значение для области AI в разработке программного обеспечения. Исследования, разработанные в рамках соревнования, могут быть перенесены на широкий спектр применений, включая безопасное использование AI в разработке программного обеспечения. Этот подход может быть использован в различных сферах, в том числе в сфере fintech, здравоохранения, а также в области разработки AI-систем для безопасности. Это соревнование имеет потенциал для повышения уровня безопасности AI в развитии программного обеспечения. ## Выводы В результате Amazon Nova AI Challenge были достигнуты впечатляющие достижения в области безопасности AI. Участники соревнования разработали новые технологии, которые могут быть использованы в будущем для с sup>офтарной разработ