Privy: Envisioning and Mitigating Privacy Risks for Consumer-facing AI Product Concepts

2509.23525v1 cs.HC, cs.AI 2025-10-01
Авторы:

Hao-Ping Lee, Yu-Ju Yang, Matthew Bilik, Isadora Krsek, Thomas Serban von Davier, Kyzyl Monteiro, Jason Lin, Shivani Agarwal, Jodi Forlizzi, Sauvik Das

Резюме на русском

## Контекст Генерируемые с помощью искусственного интеллекта продукты и сервисы часто порождают новые риски для конфиденциальности пользователей. Однако многие практики не имеют удобных инструментов для опознавания и устранения этих рисков. «Privy» — это инструмент, предназначенный для помощи разработчикам в проведении оценок воздействия на конфиденциальность (Privacy Impact Assessments, PIA) для новых концепций AI-продуктов. Он помогает сформировать понимание рисков и предложить соответствующие меры по их устранению. Privy был разработан на основе исследования, в котором участвовали 11 практиков, и существует в двух версиях: одна — с использованием технологий генерирующих естественный язык (LLM), а другая — на базе шаблонов. ## Метод Privy основывается на методологии оценки воздействия на конфиденциальность, которая включает в себя структурированный подход к выявлению и анализу рисков. Инструмент имеет две версии: одна использует модели генерирующего естественного языка для автоматической генерации вопросов и заметок, в том числе с использованием базы данных существующих исследований; другая версия предлагает шаблоны и простые инструкции для пользователей. Оба варианта прошли тестирование на группе 24 практиков, которые провели PIA для различных AI-концепций. Эксперты по конфиденциальности оценили качество выполненных PIA. ## Результаты Оба варианта Privy позволили практикам проводить PIA, которые были оценены как высококачественные экспертами. Версия с технологией генерирующего естественного языка дала более структурированные результаты, в том числе поиск уникальных рисков и предложение соответствующих мер по их устранению. Практики, использовавшие Privy, отметили, что инструмент помогает улучшить свои навыки и повысить осознание проблем конфиденциальности, что облегчает их работу. Особенно улучшение было замечено в группе, использовавшую LLM-powered версию. ## Значимость Privy может быть применен в различных сферах, где риски для конфиденциальности являются приоритетом, включая разработку продуктов с AI, оценку рисков в отраслях, требующих высокого уровня безопасности, и разработка политик в области защиты данных. Инструмент помогает практикам быть более аккуратными в процессе разработки AI-продуктов, улучшая качество и безопасность продуктов. Privy также может способствовать расширению понимания рисков и их минимизации во всех стадиях разработки AI-технологий. ## Выводы Privy доказал свою эффективность в помощи практикам в оценке рисков для конфиденциальности в AI-продуктах. Он улучшает качество рабо

Abstract

AI creates and exacerbates privacy risks, yet practitioners lack effective resources to identify and mitigate these risks. We present Privy, a tool that guides practitioners through structured privacy impact assessments to: (i) identify relevant risks in novel AI product concepts, and (ii) propose appropriate mitigations. Privy was shaped by a formative study with 11 practitioners, which informed two versions -- one LLM-powered, the other template-based. We evaluated these two versions of Privy through a between-subjects, controlled study with 24 separate practitioners, whose assessments were reviewed by 13 independent privacy experts. Results show that Privy helps practitioners produce privacy assessments that experts deemed high quality: practitioners identified relevant risks and proposed appropriate mitigation strategies. These effects were augmented in the LLM-powered version. Practitioners themselves rated Privy as being useful and usable, and their feedback illustrates how it helps overcome long-standing awareness, motivation, and ability barriers in privacy work.

Ссылки и действия