Normalized Square Root: Sharper Matrix Factorization Bounds for Differentially Private Continual Counting

#### Контекст В области разностной приватности (differential privacy), нормированные квадратные корни являются ключевыми критериями для оценки точности различных методов, таких как применение глубоких нейронных сетей. Одним из важных вопросов является достижение точности при работе с глубокими моделями, где требуется минимизировать ошибки в процессе обучения на больших данных. Одна из самых проблемных задач в этой области — повышение точности различных алгоритмов обучения, которые позволяют поддерживать приватность данных, немедленно обрабатывая большие объемы данных в реальном времени. Несмотря на развитие многих методов, таких как градиентный способ и метод градиентного исключения, значительными ограничениями являются сложность и неточность вычислений в режиме реального времени. Наше исследование посвящено улучшению теоретических базисов, необходимых для точного определения факторизации матриц в рамках приватных алгоритмов. #### Метод Мы применяем новую математическую модель, основываясь на теории графов и матричных разложений, для построения более точных оценок \(\gamma_2(M_{count})\) и \(\gamma_F(M_{count})\), где \(M_{count}\) — нижнетреугольная матрица с единичными элементами. Методом геометрического анализа мы исследуем связи между этими факторами и применяем новые алгоритмы для уменьшения разницы между нижними и верхними оценками. Это достигается за счет использования частных свойств матрицы \(M_{count}\) и использования новых математических трансформаций. #### Результаты Мы показали, что $$ 0.701 + \frac{\log n}{\pi} + o(1) \leq \gamma_2(M_{count}) \leq 0.846 + \frac{\log n}{\pi} + o(1). $$ Это позволило сократить разницу между верхней и нижней оценками до $0.14 + o(1)$. Также, для \(\gamma_F(M_{count})\) достигнуты следующие оценки: $$ 0.701 + \frac{\log n}{\pi} + o(1) \leq \gamma_F(M_{count}) \leq 0.748 + \frac{\log n}{\pi} + o(1). $$ Эти результаты позволяют существенно уменьшить разрыв между теоретическими оценками для \(\gamma_2\) и \(\gamma_F\), улучшив точность различных моделей, использующих различные методы приватности. #### Значимость Наша работа имеет прикладное значение для улучшения различных методов обучения глубоких моделей, где требуется обработка больших данных в режиме реального времени. Уменьшение разницы между верхними и нижними оценками позволяет повысить точность работы глубоких моделей при применении различных приватных методов. Это также может быть применено к различным задачам данных большого размера, таким как сегментация изображений, обработка естественного языка и анализ биоинформатики. Наша работа также открывает пути для дальнейшего исследования