📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 Efficient Group Lasso Regularized Rank Regression with Data-Driven Parameter Determination
2025-10-15Авторы:
Meixia Lin, Meijiao Shi, Yunhai Xiao, Qian Zhang
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
High-dimensional regression often suffers from heavy-tailed noise and
outliers, which can severely undermine the reliability of least-squares based
methods. To improve robustness, we adopt a non-smooth Wilcoxon score based rank
objective and incorporate structured group sparsity regularization, a natural
generalization of the lasso, yielding a group lasso regularized rank regression
method. By extending the tuning-free parameter selection scheme originally
developed for the lasso, we introduce a...
Авторы:
Ilya Levin, Alexey Naumov, Sergey Samsonov
Исследование рассматривает Linear Stochastic Approximation (LSA) с Polyak-Ruppert (PR) алгоритмом, оптимизированным для Markovian noise. Авторы исследуют bias и high-order error bounds с постоянным шагом $\alpha$ и предлагают новую декомпозицию bias с помощью линеаризации. Они показывают, что leading-order term $\alpha$-зависим и не выравнивается PR-алгоритмом. Для решения этой проблемы, используется Richardson-Romberg (RR) extrapolation, которая эффективно устраняет этот bias. Авторы также разрабатывают high-order moment bounds для RR-итераций и показывают, что лидирующий error-term находится в соответствии с asymptotically optimal covariance matrix в vanilla-averaged LSA. Эти результаты демонстрируют, что RR-extrapolation может улучшить точность и понизить ошибки в Markovian LSA.
Annotation:
In this paper, we study the bias and high-order error bounds of the Linear
Stochastic Approximation (LSA) algorithm with Polyak-Ruppert (PR) averaging
under Markovian noise. We focus on the version of the algorithm with constant
step size $\alpha$ and propose a novel decomposition of the bias via a
linearization technique. We analyze the structure of the bias and show that the
leading-order term is linear in $\alpha$ and cannot be eliminated by PR
averaging. To address this, we apply the Richard...