Legal Zero-Days: A Novel Risk Vector for Advanced AI Systems

## Контекст Область исследования, связанная с рисками, связанными с передовыми системами ИИ, находится в центре внимания вследствие сложностей, связанных с моделированием и предсказанием поведения систем, которые могут влиять на широкий круг субъектов. Одной из ключевых проблем является недостаточная подготовка к нестандартным рискам, которые могут возникнуть в силу специфических особенностей этих систем. Ранее установленные меры противодействия не всегда могут справиться с такими угрозами, поскольку они часто основываются на предположении о природе знакомых угроз. Было выделено, что существуют специфические, неизвестные для настоящего момента риски, которые могут исходить от взаимодействия систем с человеческими структурами, в том числе правовыми и регулирующими. В этом контексте вводится понятие "Legal Zero-Days" — незамеченные ранее уязвимости в правовых системах, которые могут быть использованы для непосредственного повреждения общественных структур или достижения высокого степени воздействия. Данная работа призвана исследовать этот новый вид риска, определив его характеристики и потенциальные последствия. ## Метод Методология исследования основывается на создании модели риска, рассматривающей "Legal Zero-Days" как угрозу, которая не требует традиционных процедур, таких как юридическая процедура или регуляторное вмешательство, для воздействия. Технические решения включают детальный анализ юридических фреймворков и исторических случаев, например, анализ кризиса с двойными гражданствами в Австралии в 2017 году. Архитектура исследования включает в себя разработку "юридических головоломок" — ситуаций, которые подразумевают тестирование систем ИИ на способность выявлять и оценивать такие уязвимости. Исследование также включает моделирование сценариев, в которых такие уязвимости могут быть использованы для преднамеренного воздействия. ## Результаты Исследование показало, что текущие системы ИИ не достаточно эффективны в выявлении "Legal Zero-Days". На основе случая с двойными гражданствами в Австралии было установлено, что незначительные ошибки в юридических рамочных документах могут привести к значительным последствиям. Однако, в отличие от ситуаций с классическими уязвимостями, эти уязвимости не всегда могут быть доступны для обычных методов оценки. Исследование также выявило, что развитие ИИ может привести к улучшению способности систем к выявлению таких уязвимостей, но это также создает риск того, что вредоносные субъекты могут использовать подобные методы для злонамеренных целей. ## Значимо