Jailbreaking Commercial Black-Box LLMs with Explicitly Harmful Prompts

## Контекст Область исследования связана с jailbreak-атаками на системы с открытым кодом, которые работают с текстовыми запросами. В процессе таких атак атакующий пользователь модифицирует входные запросы, называемые ловушками, для того чтобы привести к подчинению системы скрытым потребностям. Этот процесс может привести к нежелательным последствиям, таким как разглашение конфиденциальной информации или выполнение нежелательных операций. Настоящее исследование затрагивает проблему эффективного оценивания таких атак, когда ловушки не явно вызывают вредоносные поведения. Существующие датасеты и методы могут недостаточно точно оценивать эти ловушки, что приводит к неточностям в оценке эффективности защитных мероприятий. Наше исследование нацелено на создание методологии, которая позволит лучше понять и эффективно протестировать такие ловушки. ## Метод Для решения проблемы оценки таких атак предложена новая методология, которая основывается на совместной работе логики ввода-вывода и широкой группы тестовых ловушек. Методология включает в себя несколько этапов. В первую очередь, мы используем методы оценки, основанные на ИИ, для того чтобы автоматически определять вредоносность в ловушках. Но, чтобы улучшить точность, мы вводим человеческий фактор, который помогает оценивать непонятные случаи. Это делается с помощью гибридной модели, которая объединяет ИИ-анализ с ручным моделированием. Также, мы применяем новые подходы для симуляции контекста и улучшения цепочек мышления, которые позволяют лучше ориентироваться в процессе атаки. ## Результаты Мы провели исследования, используя различные датасеты, а также создали свои собственные ловушки для проверки эффективности наших методов. Результаты показали, что новая методология более точна в определении вредоносных ловушек по сравнению с существующими методами. Мы также установили, что использование специально сформированных пользовательских запросов может значительно увеличить успешность атак. Это предложение подтвердилось с помощью экспериментов, где мы смогли увеличить успешность атаки в несколько раз при помощи специальной тренировки ловушек. ## Значимость Метод, предложенный в настоящем исследовании, имеет широкие применения в области безопасности информационных систем, особенно в тех, которые работают с текстовыми запросами. Он может быть применен для оценки системы безопасности, для поиска уязвимостей и для разработки более эффективных методов защиты. Хорошо сформированные ловушки могут повысить уровень защиты от атак, а также