SafeProtein: Red-Teaming Framework and Benchmark for Protein Foundation Models

## Контекст Построение protein foundation models (PFMs) представляет собой ключевой аспект развития систем понимания и моделирования белков. Эти модели опираются на последовательности аминокислот и используют глубокое обучение для решения проблем, связанных с пониманием и моделированием белков. Несмотря на их неоценимую полезность в биологических исследованиях, технологиях частичного синтеза и других областях, они не являются иммунными к злоупотреблению. Например, PFMs могут быть использованы для синтеза белков с биологически опасными свойствами, что может привести к серьезным последствиям. Однако существующие методы тестирования и аудита PFMs недостаточно систематизированы, что создает риск появления серьезных проблем безопасности в использовании таких моделей. ## Метод SafeProtein представляет собой первую систему red-teaming, разработанную специально для PFMs. Методология SafeProtein основывается на комбинации модального предложения и трансформационной технологии. Multimodal prompt engineering используется для формирования надёжных запросов, которые позволяют тестировать модели безопасности PFMs. Для поиска потенциальных угроз используется инновационная техника heuristic beam search, которая позволяет расширить поиск возможных угроз, охватив многообразие вариантов поведения моделей. Эта архитектура обеспечивает многоуровневый подход к анализу уязвимостей PFMs и позволяет глубоко раскрыть биологические риски, связанные с их использованием. ## Результаты Используя SafeProtein, авторы провели эксперименты на нескольких современных PFMs, включая ESM3, и получили высокие результаты в проведении тестирования безопасности. Тесты показали, что модели, такие как ESM3, подвержены опасностям, таким как jailbreak-атаки, с успешной стойкостью до 70%. Эти результаты подтверждают значительные биологические и системные риски, связанные с нехваткой тестирования безопасности PFMs. Также был разработан SafeProtein-Bench, который включает в себя руководство по классификации угроз, многомодальные данные и протоколы экспериментов, позволяющие проводить тщательные эксперименты для тестирования и оценки безопасности PFMs. ## Значимость SafeProtein представляет собой важный вклад в область анализа и защиты PFMs. Он предоставляет мощный инструмент для анализа угроз безопасности, который может быть использован в различных приложениях, таких как биоинформатика, технологии построения белков, и синтез белков. Результаты SafeProtein показывают, что существуют серьезные проблемы в полной безопасности PFMs, и что эти модели должны быть подвергнуты тщательному тестированию. Обнаружение этих проблем может способствовать развитию новых