RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting

## Контекст В настоящее время системы машинного обучения полагаются на большие и высококачественные данные, необходимые для эффективной моделирования и анализа. Однако многие такие данные включают в себя конфиденциальную информацию, которая может повлечь за собой риски для конфиденциальности и потенциальные нарушения законодательства. Ранее использованные методы анонимности часто оказываются недостаточно эффективными, так как не учитывают неявные признаки, такие как стиль письма или топический контекст. Эти неявные признаки могут быть использованы для идентификации исходного автора данных. В этом контексте важно разработать методы, которые не только обеспечат сохранение конфиденциальности, но и сохранят качество данных для применения в моделях машинного обучения. ## Метод Мы предлагаем использовать процедуру гибкой оптимизации на основе алгоритмов глубокого обучения, которая заключается в том, чтобы применять модели глубокого обучения в качестве основы для повышения качества выводимых данных. Мы используем гибкие архитектуры, которые могут обрабатывать различные типы данных и изменяться в зависимости от конкретного задания. Наша модель основывается на подходе, который включает в себя совмещение различных наградных функций для оптимизации критериев качества, среди которых являются семантическая точность, обфускация исходного автора и разнообразие вывода. Мы также используем минимальные значения среднего значения для повышения эффективности процесса. ## Результаты Мы проводим эксперименты на широком диапазоне данных, включая корпусы, содержащие конфиденциальные данные. Наши результаты показывают, что разработанная модель позволяет повысить уровень конфиденциальности данных, сохранив при этом качество и точность вывода. Мы также проводим сравнение с другими методами, показывающими, что наш подход показывает значительное преимущество в обеспечении конфиденциальности без существенного потери качества данных. Также мы проводим анализ изменений в структуре данных, показывающих, что наш подход уместно реагирует на необходимость обфускации стиля и контекста. ## Значимость Наш подход имеет широкие возможноhedenо применения в различных областях, где необходимо обеспечение конфиденциальности данных. Например, он может применяться в медицине, финансах и юридических сферах, где качество и конфиденциальность данных являются критичными. Метод также может использоваться для создания более безопасных систем машинного обучения, уменьшая риск раскрытия конфиденциальной информации. Это может привести к повышению уровня доверия к системам, в которых используются синтетически