Towards Confidential and Efficient LLM Inference with Dual Privacy Protection

## Контекст В последние годы широко распространено использование больших языковых моделей (LLMs) для выполнения различных задач, включая генерацию текста, ответы на вопросы и анализ текста. Однако применение этих моделей подвергает предметные зоны необходимости в защите конфиденциальных данных, введя новые вызовы в области информационной безопасности. Наиболее важными проблемами являются повышенное рискованность информации, передаваемой при выполнении моделей, и необходимость обеспечения конфиденциальности пользовательских данных. Общественные организации и бизнес-компании ищут решения для этих проблем, которые должны обеспечить как эффективность, так и конфиденциальность. ## Метод Для решения этих проблем авторы предлагают CMIF — Confidential and Efficient Model Inference Framework. Основная идея CMIF заключается в разделении LLM-моделей на два части: менее требовательные к обработке защищенные данные обрабатываются в локальной трейтных исполнительных средах (TEE) на клиентских устройствах, а более сложные, нетривиальные задачи отправляются на GPU-серверы. Это позволяет снизить нагрузку на TEE, уменьшить задержки и обеспечить эффективное использование ресурсов. Для защиты конфиденциальности вводится модификация механизма Report-Noisy-Max, которая применяет отрицательный шум к выборке, чтобы защитить данные при минимальном влиянии на качество и понятность ответа языковой модели. ## Результаты В работе проводились обширные эксперименты с LLMs-моделями, включая Llama-series. Результаты показали, что CMIF удалось значительно снизить задержки информации в TEE, снизив нагрузку на него без потери качества работы модели. Также была продемонстрирована эффективность модифицированного механизма Report-Noisy-Max. Он уменьшил риск вытекания конфиденциальной информации в значительной степени, при этом влияние на качество модели было незначительно. Эти результаты подтверждают, что CMIF может эффективно сочетать конфиденциальность и эффективность в работе языковых моделей. ## Значимость Решение CMIF может быть применено в различных областях, где требуется обеспечение конфиденциальности данных, таких как онлайн-обучение, медицинская информатика, финансы и юриспруденция. Оно предоставляет несколько преимуществ, включая уменьшение задержек, эффективное использование ресурсов и увеличение безопасности. Его применение может способствовать развитию конфиденциальной интеллектуальной сети, которая будет обеспечивать защиту конфиденциальности пользователей и эффективность в выполнении задач. ## Выводы CMIF представляет собой прорыв в области защиты конфиденциально