## Контекст Федеративное обучение (FL) является привлекательным подходом для обучения локальными данными больших языковых моделей (LLM), которые широко используются в сферах, требующих высокой конфиденциальности, таких как медицина и финансы. Организации часто не желают делиться своими данными, что делает централизованное обучение невозможным. Вместо этого FL позволяет клиентам совместно обучать модели, не раскрывая свои данные, используя только параметры модели для обучения. Хотя FL обеспечивает приватность, направленную на защиту локальных данных, оно не является иммунным к атакам. Целевой объект исследования заключается в оценке рисков для приватности при использовании FL для обучения LLM и разработке эффективных методов защиты. ## Метод Использовались стандартные метрики для оценки риска вытекающих данных (дата-ликиджинг), включая вероятность выдачи следующего токена и методы генерации текста. Набор экспериментов включал сравнение разных моделей FL, включая те, которые использовали безопасные методы обучения, такие как регуляризация и способы вывода неожиданности. Были изучены различные модели и наборы данных, включая наборы данных, предназначенные для секретного использования в бизнес-приложениях. Основным подходом была оценка степени утечки данных при использовании FL в защищенных сценариях обучения. ## Результаты Эксперименты показали, что атаки на FL могут успешно извлечь данные из глобального модели, даже без особых техник. Утечка данных увеличивается в зависимости от размера модели и числа клиентов в сети FL. Особенно эффективными оказались атаки, основанные на простой модели генерации текста, которая может декодировать входные данные из обучающей выборки. Добавление безопасных методов, таких как различная частота вывода и регуляризация, снижают утечку, но не полностью устраняют ее. Кроме того, применение безопасных моделей с адаптивным выводом существенно снижает риск, но не гарантирует полной защиты. ## Значимость Результаты имеют практическое значение для разработчиков, которые используют FL для обучения LLM. Они подчеркивают необходимость в разработке безопасных технологий для защиты конфиденциальных данных в процессе обучения. Выявленные утечки могут иметь серьезные последствия в сферах, где конфиденциальность критическа, таких как здравоохранение и финансы. Эта работа демонстрирует, что FL не является идеальным средством для защиты приватности в обучении LLM и подчеркивает важность продолжительных исследований в этой области. ## Выводы Несмотря на привлекательность FL для обучения LLM с локальными данными, оно не гарантирует за

Резюме научной статьи ====================== ## Контекст Large language models (LLMs) являются мощными инструментами для обработки и генерации естественных языков, но при этом имеют серьезные проблемы в области личной информации. В современном мире, где секретность и защита данных являются критичными, выявлено, что эти модели могут разглашать конфиденциальную информацию, внедренную в свои выводы. Эта проблема, известная как "информационный вытекающий", возникает из-за того, что модели могут угадывать или даже извлекать конфиденциальные данные из входных запросов пользователей. Несмотря на то, что существуют методы, направленные на уменьшение этой проблемы, они часто требуют сложного тренировочного процесса или теряют качество в генерируемом тексте. Наша мотивация заключается в создании алгоритма, который обеспечит высокое качество вывода, сохранив при этом гарантии приватности. Это важно не только для пользователей, но и для организаций, которые используют LLMs в своих приложениях. ## Метод Мы предлагаем новую модель, основанную на фреймворке Differential Privacy (DP). Этот подход предполагает, что модель не использует никакие дополнительные данные для тренировки, чтобы избежать риска информационного вытекающего. Мы используем метод прогнозирования, в котором LLM выполняет запрос к одной записи за раз, а результаты объединяются в последовательность. Эта последовательность потом обрабатывается, чтобы обеспечить сглаживание и улучшение текста. Кроме того, мы вводим простую операцию смешивания, которая сочетает приватные и публичные выводы модели. Эта операция позволяет улучшить качество генерируемого текста, не уменьшая при этом приватности. Мы также используем эффективный метод для управления вероятностью вытекающего, чтобы гарантировать, что даже при максимальном риске, информация останется скрыта. ## Результаты Мы проверили нашу модель на различных примерах в контексте in-context learning (ICL), используя различные данные, включая корпусы, часто используемые в тестировании LLMs. Наши результаты показывают, что модель превосходит существующие методы как по качеству текста, так и по уровню защиты приватности. Например, наша модель показала значительный выигрыш в точности генерирования текста при одновременном сохранении гарантий приватности. Благодаря нашему подходу, мы можем генерировать длинные и когерентные тексты, не рискуя вытеканием конфиденциальной информации. Это имеет критическое значение для приложений, где гарантия конфиденциальности является критической, например, в области здравоохранения или финансов. ## Значимость Наш подход