Can We Trust AI to Govern AI? Benchmarking LLM Performance on Privacy and AI Governance Exams

## Контекст Становление широкомасштабных языковых моделей (LLM) определяет новый этап в развитии искусственного интеллекта. Эти модели показали потрясающие возможности в области обработки текста, но ряд вопросов остается открытым, в том числе в области подготовки к профессиональным экзаменам, посвященным тем вопросам, как регулирование конфиденциальности данных и управление ими. Многие компании развернули обучение LLMs с целью повысить эффективность рабочего процесса, но вопрос о достоверности их решений в сфере юридического и технического гуманитарного контроля, в том числе в сфере управления данными и соблюдением законодательства о конфиденциальности, остается актуальным. Поэтому, в данной статье мы рассматриваем возможность использования LLMs в регулировании технологий, путем проведения эксперимента: проверка того, насколько эти модели могут пройти сертификационные экзамены в сфере юридических и технических аспектов конфиденциальности. Эта исследовательская работа ставит целью определить, насколько LLMs могут оказать полезную поддержку для профессионалов в области конфиденциальности и технологического управления, а также понять, насколько эти модели могут стать надежным инструментом в решении управленческих задач. ## Метод Мы провели эксперимент, в котором использовали 10 различных языковых моделей, включая коммерческие и открытые версии, например, GPT-5 от OpenAI, Gemini 2.5 Pro, Claude 2 от Anthropic и другие. Для проверки все модели были подвергнуты экзаменам по темам конфиденциальности, управления данными и технического контроля, в том числе CIPP/US, CIPM, CIPT и AIGP от International Association of Privacy Professionals (IAPP). На экзаменах LLMs отвечали на вопросы, аналогичные тем, которые появляются в экзаменах IAPP. Экзамены проводились в закрытой форме (без доступа к интернету и внешним источникам), чтобы создать эквивалентные условия для людей, сдающих эти экзамены. Результаты были сравнены с пороговыми значениями IAPP для получения сертификата. Это позволило определить, насколько модели LLMs могут быть конкурентоспособными на профессиональных экзаменах. ## Результаты Мы обнаружили, что некоторые модели LLMs показали выдающиеся результаты, превысив пороговые значения IAPP для профессионального сертификата. Например, GPT-5 от OpenAI и Gemini 2.5 Pro получили отметки выше 80% на нескольких экзаменах, что показывает их высокую компетентность в теме регулирования конфиденциальности и технологического управления. Тем не менее, другие модели, такие как Claude 2, оказались менее эффективными в некоторых областях, особенно в особенностях технического контроля. ## Значимость Наша иссле