Whitening Spherical Gaussian Mixtures in the Large-Dimensional Regime

2509.17636v1 stat.ML, cs.LG 2025-09-24
Авторы:

Mohammed Racim Moussa Boudjemaa, Alper Kalle, Xiaoyi Mai, José Henrique de Morais Goulart, Cédric Févotte

Резюме на русском

## Контекст Область исследований, связанная с whitening (очисткой данных) в непосредственной реляции с методами непрерывного учения, имеет решающее значение для обработки данных, особенно при работе с моделями латентных переменных. Описываемая проблема заключается в том, что при применении стандартных методов whitening в среде больших данных (Large-Dimensional Regime, LDR) могут возникать ошибки, которые нарушают ожидаемую ортогональность спектра при обработке модели сферической гауссовской смеси (Spherical GMM). Это негативно сказывается на разделении моделей и их выделении, что является критическим для эффективных вычислений в области машинного обучения. Таким образом, мотивируется необходимость разработки новых методов, которые могут исправить эти дефекты и улучшить точность работы с GMM в LDR. ## Метод Основной подход, предложенный в статье, основывается на использовании теории случайных матриц для анализа и корректировки стандартных методов whitening. Авторы предлагают корректирующую формулу для конструирования whitening-матрицы, которая учитывает дисторсию спектра в LDR. Эта корректировка позволяет восстановить ортогональность средних сферической GMM и, следовательно, упростить процесс декомпозиции моментных матриц. Технический подход включает в себя моделирование характеристик спектра с помощью рандомизированных моделей и применение уравнений для получения точных оценок для коррекции whitening. Этот подход позволяет значительно улучшить производительность стандартных методов в LDR. ## Результаты В ходе экспериментов были проведены сравнения стандартных методов whitening с новым корректировочным подходом в условиях LDR. Использовались синтетические данные, построенные на основе моделей сферических гауссовских смесей. Результаты показали, что новый алгоритм способен восстановить ортогональность средних и, как следствие, улучшить точность разделения моделей. Эксперименты также демонстрируют, что новая методика позволяет повысить производительность в задачах распознавания и кластеризации данных в LDR, что является критически важной для приложений в области машинного обучения и big data. ## Значимость Полученные результаты имеют практическое значение для широкого круга задач, включая распознавание речи, обработку изображений, моделирование естественных языков и другие задачи, требующие эффективного разделения латентных переменных. Новый подход позволяет улучшить точность и скорость работы алгоритмов, обрабатывающих сферические GMM в LDR. Это имеет потенциал для улучшения существующих систем и развития новых методов в области машинного обучения. Благодаря корректировке whitening-матрицы, авторы предлагают боле

Abstract

Whitening is a classical technique in unsupervised learning that can facilitate estimation tasks by standardizing data. An important application is the estimation of latent variable models via the decomposition of tensors built from high-order moments. In particular, whitening orthogonalizes the means of a spherical Gaussian mixture model (GMM), thereby making the corresponding moment tensor orthogonally decomposable, hence easier to decompose. However, in the large-dimensional regime (LDR) where data are high-dimensional and scarce, the standard whitening matrix built from the sample covariance becomes ineffective because the latter is spectrally distorted. Consequently, whitened means of a spherical GMM are no longer orthogonal. Using random matrix theory, we derive exact limits for their dot products, which are generally nonzero in the LDR. As our main contribution, we then construct a corrected whitening matrix that restores asymptotic orthogonality, allowing for performance gains in spherical GMM estimation.

Ссылки и действия