Beyond PII: How Users Attempt to Estimate and Mitigate Implicit LLM Inference

## Контекст Large Language Models (LLMs), такие как ChatGPT, могут подразумевать личные атрибуты из текста, даже если этот текст кажется беззначимым. Это создает риски для конфиденциальности, которые выходят за рамки простого утечки запоминанных данных. Хотя исследования уже показали эти риски, мало что известно о том, как пользователи оценивают и реагируют на такие угрозы. Наше исследование основывается на предыдущих работах, подчеркивая необходимость детального понимания того, как пользователи оценивают информационные риски и пытаются их минимизировать. Мы стремимся выявить способы, которые пользователи используют для защиты своей конфиденциальности при интеракции с LLMs. ## Метод Мы провели исследовательский эксперимент с участием 240 участников из США. Участники проанализировали многочисленные текстовые фрагменты, оценивая их для возможности подразумевания личных данных. Они также сообщали насколько они беспокоятся о таких рисках и пытались переписать фрагменты для защиты конфиденциальности. Для сравнения, мы использовали два подхода: решения ChatGPT и Rescriber — современного стандарта средств защиты. Эксперимент был разделен на несколько этапов, включая оценку вероятности информационных рисков, сравнение решений пользователей и роботов, а также анализ стратегий переписывания. ## Результаты Мы обнаружили, что участники имели сложности с оценкой вероятности информационных рисков, показывая результаты, которые незначительно превышали вероятность случайного угадания. Их попытки переписать текст для защиты конфиденциальности были эффективны в лишь 28% случаев, что превосходит результаты Rescriber но остается ниже результатов ChatGPT. Мы также выяснили, что наиболее распространенная стратегия — парафразирование — является также самой менее эффективной. Вместо этого, стратегии абстракции и введения неоднозначности дают более успешные результаты. ## Значимость Наши результаты имеют значимость не только для понимания того, как пользователи реагируют на риски для конфиденциальности, но и для того, чтобы сформировать более информационно-безопасные интерфейсы для интеракций с LLMs. Мы выявили, что текущие методы защиты, такие как Rescriber, могут быть улучшены, в то время как ChatGPT уже имеет более высокую эффективность. Эти результаты могут способствовать развитию новых стратегий для защиты конфиденциальности, которые будут использоваться в будущих интерфейсах для пользователей. ## Выводы Мы определили, что оценка информационных рисков и практики защиты конфиденциальности при интеракции с LLMs требуют дополнительных иссле