Beyond Data Privacy: New Privacy Risks for Large Language Models

## Контекст Large Language Models (LLMs) отличаются своим неподдельным умением понимать и обрабатывать естественный язык, принимать разумные решения и выполнять автономные функции. Во времена быстрого развития интеллектуальных систем, они приобрели значительное применение в различных областях, от виртуальных помощников до моделей для сферы финансов. Однако этот прогресс привносил с ним значительные вопросы в области конфиденциальности. Несмотря на то, что многочисленные исследования стремились уменьшить риски связанные с защитой данных во время обучения моделей, меньше внимания уделялось новым угрозам, возникающим при использовании LLMs в реальных системах. Интеграция LLMs в приложения и их применение для автоматической генерации решений стали открывать новые возможности для нежелательного дата-проникновения. Эти угрозы могут привести к различным последствиям, включая легковерное разглашение пользовательских данных, финансовые потери и ухудшение доверия к технологиям. ## Метод Мы предлагаем обобщенный подход к исследованию новых рисков для конфиденциальности, связанных с выводом LLMs в производственное использование. Наше исследование основывается на многоуровневом анализе технологий, включая оценку проблем, связанных с автоматизированным разбором данных, а также определение возможных компонентов, открывающих возможности для атак. Мы рассматриваем особенности работы LLMs в различных приложениях, включая системы с широким кругом взаимодействия, и выявляем ситуации, при которых могут возникнуть дефекты в работе моделей. Затем мы проводим эмпирическую оценку этих уязвимостей, используя наборы данных, соответствующих реальным сценариям. ## Результаты Проведенные эксперименты показали, что многие LLMs, включая высокопроизводительные, оказываются уязвимыми к ряду новых угроз. Мы обнаружили, что некоторые модели могут давать ответы, в которых вкрадываются конфиденциальные данные, например, те, которые были введены в ходе обучения или тестирования. Эксперименты также показали, что злоумышленники могут использовать специально созданные запросы для извлечения конфиденциальных данных, в том числе входящих в защищенные базы. Запуск этих атак во время реального эксплуатационного использования LLMs может привести к серьезным последствиям, включая хищение персональных данных и финансовые потери. Мы также проанализировали реальные сценарии использования LLMs в сферах банковских транзакций и медицины, где подобные угрозы могут быть особенно острыми. ## Значимость Полученные результаты подчеркивают необходимость в развитии новых подходов к об