📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Zixuan Gu, Qiufeng Fan, Long Sun, Yang Liu, Xiaojun Ye
**Резюме**
С ростом популярности Large Language Models (LLMs) возникают новые вызовы, связанные с защитой приватности данных и эффективной интеграцией моделей в ресурс-контролируемые среды. Например, приватные LLM-услуги требуют высоких вычислительных мощностей, а доступ к общедоступным LLM-API ограничивается строгими требованиями по конфиденциальности. Разделенное обучение (Split Learning, SL) предлагает решение, доступное для различных доменов, включая приватные.
Мы предлагаем VFLAIR-LLM, гибкий и эффективный фреймворк для SL, позволяющий запускать LLM-модели в защищенном режиме и дообучать их в ресурс-ограниченных условиях. Наша работа включает два режима разделения модели, поддержку трех типов задач и 18 датасетов, а также модули для оценки атак и защит. Мы проводим бенчмарк 5 атак и 9 защитных стратегий в различных SL-LLM-конфигурациях и даем рекомендации по оптимизации параметров и выбору модели, чтобы обеспечить эффективное применение SL-LLM в реальных сценариях.
Annotation:
With the advancement of Large Language Models (LLMs), LLM applications have
expanded into a growing number of fields. However, users with data privacy
concerns face limitations in directly utilizing LLM APIs, while private
deployments incur significant computational demands. This creates a substantial
challenge in achieving secure LLM adaptation under constrained local resources.
To address this issue, collaborative learning methods, such as Split Learning
(SL), offer a resource-efficient and pr...