Sequential Least-Squares Estimators with Fast Randomized Sketching for Linear Statistical Models
2509.06856v1
stat.ML, cs.LG, cs.NA, math.NA
2025-09-10
Авторы:
Guan-Yu Chen, Xi Yang
Резюме на русском
#### Контекст
Моделирование и оценка параметров в линейных статистических моделях широко применяется в различных областях, включая экономику, биологию, инженерию и телекоммуникации. Однако в условиях больших объемов данных возникают значительные вычислительные затруднения. Многие существующие алгоритмы страдают от высокого расхода ресурсов или неэффективности при обработке таких моделей. Это приводит к необходимости разработки более эффективных методов для построения и оценки параметров в таких моделях.
#### Метод
Мы предлагаем novel фреймворк, Sequential Least-Squares Estimators with Fast Randomized Sketching (SLSE-FRS), который совмещает Sketch-and-Solve и Iterative-Sketching методы. Это решение позволяет постепенно улучшать точность оценок параметров с помощью iterative рефинининга подскаленных least-squares (LS) задач. SLSE-FRS использует randomized sketching для эффективной сжатия данных, обеспечивая высокую скорость работы. Мы также анализируем свойства сходимости этого алгоритма и предлагаем его эффективную реализацию.
#### Результаты
Наши эксперименты проводились на больших данных, включающих многомерные модели. Мы сравнили SLSE-FRS с двумя современными методами: Preconditioned Conjugate Gradient (PCG) и Iterative Double Sketching (IDS). Результаты показали, что SLSE-FRS не только быстрее, но и показывает высокую точность, превосходя конкурентные методы во всех соответствующих аспектах.
#### Значимость
Предложенный фреймворк SLSE-FRS может применяться в областях, где требуется быстрая и точная оценка параметров в линейных моделях, таких как data stream processing, machine learning и другие. Он обеспечивает высокую эффективность и превосходство по сравнению с другими методами. Будущие исследования будут нацелены на расширение SLSE-FRS для других моделей и приложений, а также на оптимизацию его использования в реальном времени.
#### Выводы
Мы представили SLSE-FRS — новую, эффективную и точную методику для оценки параметров в линейных статистических моделях. Данный подход показал не только высокую эффективность, но и превосходство по сравнению с другими существующими методами. Наша работа открывает новые пути для дальнейших исследований в этой области.
Abstract
We propose a novel randomized framework for the estimation problem of
large-scale linear statistical models, namely Sequential Least-Squares
Estimators with Fast Randomized Sketching (SLSE-FRS), which integrates
Sketch-and-Solve and Iterative-Sketching methods for the first time. By
iteratively constructing and solving sketched least-squares (LS) subproblems
with increasing sketch sizes to achieve better precisions, SLSE-FRS gradually
refines the estimators of the true parameter vector, ultimately producing
high-precision estimators. We analyze the convergence properties of SLSE-FRS,
and provide its efficient implementation. Numerical experiments show that
SLSE-FRS outperforms the state-of-the-art methods, namely the Preconditioned
Conjugate Gradient (PCG) method, and the Iterative Double Sketching (IDS)
method.