Involuntary Jailbreak

## Контекст Large Language Models (LLMs) стали неотъемлемой частью современных технологий, применяясь в различных сферах, от образования до здравоохранения. Однако существуют значительные проблемы с их безопасностью, в частности, существуют методы, называемые **"jailbreak"**, которые могут обходить механизмы безопасности (guardrails), защищающие модели от нежелательных вводимых данных. Эти методы часто специализируются на уязвимостях, связанных с конкретными задачами или вводимыми командами. Наше исследование открывает новую уязвимость, которую мы назвали **"involuntary jailbreak"**, позволяющую атакующим сформировать входные данные, которые могут сделать механизмы безопасности LLMs неэффективными в целом. Эта проблема является ключевой мотивацией для нашего исследования. ## Метод В центре нашего исследования лежит новая методология, основанная на простых, но эффективных входных данных. Мы используем **одну универсальную строку**, которая содержит несколько вопросов, запрещенных модели, вместе с их подробными ответами. Эти строки не специализируются на конкретных целях, таких как производство бомб или технические вопросы. Мы применяем эту методологию к нескольким ведущим LLMs, включая Claude Opus 4.1, Grok 4, Gemini 2.5 Pro, и GPT 4.1. Наше решение прост в реализации и позволяет показать, что многие текущие guardrails LLMs оказываются значительно более уязвимыми, чем предполагалось. ## Результаты Мы проверили нашу методику на нескольких ведущих LLMs. Заметили, что почти все модели подвержены уязвимости, что демонстрируется тем, что модели отвечают на запрещенные вопросы, даже если это противоречит их нормативным механизмам безопасности. Например, для Claude Opus 4.1, Grok 4 и других моделей, проход по guardrails осуществляется с помощью универсального метода. Эти результаты показывают, что модели не только не способны отказаться от выдачи ответов на запрещенные вопросы, но и не испытывают проблем с этими входными данными в целом. ## Значимость Наше исследование открывает новые горизонты для понимания уязвимостей LLMs и подчеркивает важность усиления безопасностных механизмов. Мы показываем, что текущие guardrails могут быть значительно легче обходимы, чем считалось ранее. Эти результаты могут быть применены в различных областях, таких как образование, здравоохранение и безопасность. Более того, наш подход может способствовать более глубокой аналитике безопасности LLMs и мотивировать разработку новых мер, повышающих уровень защиты в будущем. ## Выводы Мы открыли новую уязвимость, названную **involuntary jailbreak**, которая может повли