Struct-Bench: A Benchmark for Differentially Private Structured Text Generation

## Контекст Differentially private (DP) synthetic data generation является перспективным подходом для использования закрытых данных, которые не могут быть раскрыты для обучения моделей или других аналитических целей. Хотя существует много исследований по созданию защищенных неструктурированных текстов и изображений, в организационных средах структурированные данные (например, табличные) более распространены, часто включая текстовые поля. Текущие методы оценки синтетических данных, такие как FID, не удается точно охватить структурные свойства и корреляции таких данных. Наша мотивация заключается в создании бенчмарка, который бы стандартизировал оценку синтетических данных из структурированных источников с естественным языком. ## Метод Мы предлагаем Struct-Bench, фреймворк и бенчмарк для оценки синтетических данных, полученных из структурированных источников с естественным языком. Методология Struct-Bench основана на Context-Free Grammar (CFG), которая позволяет пользователям определять структуру исходных данных. Бенчмарк включает в себя 7 датасетов (5 реальных и 2 синтетических), каждый аннотированный CFG. Мы также предоставляем стандартные реализации метрик и лидербورд, чтобы обеспечить унифицированную оценку методов защищенного генерирования данных. ## Результаты Мы проводили эксперименты, используя 5 реальных и 2 синтетических датасеты. Результаты показали, что даже устойчивые методы защищенного генерирования данных структурированного текста сталкиваются с значительными трудностями на Struct-Bench. Наши данные подтверждают, что различия в структуре данных могут значительно сказываться на качестве синтетических данных. ## Значимость Struct-Bench широко может применяться в области приватного генерирования данных, в частности, для оценки методов DP synthetic data generation. Он позволяет учитывать структуры данных, что делает его особенно удобным для табличных данных. Мы также показали, что Struct-Bench может быть использован для улучшения качества синтетических данных в Private Evolution (PE). ## Выводы Struct-Bench является первым развитой базой для оценки синтетических данных структурированных источников. Его стандартизированный подход позволяет сравнивать различные методы генерирования данных. Будущие исследования будут сфокусированы на расширении Struct-Bench для новых типов структудных данных и улучшении его метрик.