📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Leo Zhang

Маскованные дискретные диффузионные модели (Masked Discrete Diffusion Models, MDDM) являются мощным инструментом для работы с дискретными данными. Одним из ключевых аспектов их эффективного использования является выбор оптимального способа дискретизации при выводе. В статье "The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models" автор рассматривает проблему оптимального выбора схемы дискретизации, основываясь на геометрии информации Fisher-Rao. На основе анализа автор показывает, что оптимальной схемой является популярный **cosine schedule**, который уже используется в практике. Это вывод не только подтверждает ценность уже имеющихся практических решений, но и дает понимание заслуг этой схемы с точки зрения теории. Результаты статьи полезны для развития методологии диффузионных моделей и их применения в различных задачах машинного обучения.
Annotation:
In this work, we study the problem of choosing the discretisation schedule for sampling from masked discrete diffusion models in terms of the information geometry of the induced probability path. Specifically, we show that the optimal schedule under the Fisher-Rao geometry recovers the popularly-used cosine schedule.
ID: 2508.04884v1 stat.ML, cs.LG
Авторы:

Ziliang Shen, Caixing Wang, Shaoli Wang, Yibo Yan

Защита личных данных становится ключевой проблемой при анализе больших, распределенных и неоднородных данных, содержащих конфиденциальную информацию. В статье предлагается развитие метода дифференциальной частичной конфиденциальности для регрессии по квантилям в высокомidimensionalном случае. Основной инновацией является реформализация задачи регрессии по квантилям в задачу обыкновенного минимума квадратов с помощью новых трансформаций. Это позволяет совместить высокую точность истинных значений с гарантией дифференциальной конфиденциальности. Более того, разработаны алгоритмы для вычисления доверительных интервалов и проведения тестирования гипотез в рамках данной модели. Демонстрируется эффективность этого подхода в распределенном условии, так как он подходит как для небольших, так и для обильных данных. Эксперименты показали, что предлагаемый подход обеспечивает точность и гибкость, необходимую для реалистичных сценариев анализа данных.
Annotation:
With the development of big data and machine learning, privacy concerns have become increasingly critical, especially when handling heterogeneous datasets containing sensitive personal information. Differential privacy provides a rigorous framework for safeguarding individual privacy while enabling meaningful statistical analysis. In this paper, we propose a differentially private quantile regression method for high-dimensional data in a distributed setting. Quantile regression is a powerful and...
ID: 2508.05212v1 stat.ML, cs.LG
Авторы:

Bingfan Liu, Peijun Sang

**Резюме** В работе предлагается $L_1$-регуляризованная функциональная поддержковая машина векторных машин (SVM) для решения задачи бинарной классификации с многомерными функциональными признаками. Обычно в функциональном анализе фокус ограничивается одним функциональным признаком, что приводит к ограниченности в обработке более сложных данных. Задача авторов — заполнить этот пробел, развивая модель, которая учитывает многомерные функциональные признаки. Новая модель включает $L_1$-регуляризацию, позволяющую выделять важные функциональные признаки, относящиеся к классу. Алгоритм разработан для эффективного оценивания этой модели. Эксперименты на симуляционных и реальных данных показали, что предложенная модель обеспечивает высокую точность классификации и эффективный выбор признаков. Это делает ее применимую в сложных задачах, где требуется обработка функциональных данных и выделение важных фичей.
Annotation:
In functional data analysis, binary classification with one functional covariate has been extensively studied. We aim to fill in the gap of considering multivariate functional covariates in classification. In particular, we propose an $L_1$-regularized functional support vector machine for binary classification. An accompanying algorithm is developed to fit the classifier. By imposing an $L_1$ penalty, the algorithm enables us to identify relevant functional covariates of the binary response. Nu...
ID: 2508.05567v1 stat.ML, cs.LG, stat.CO
Авторы:

Ilya Levin, Alexey Naumov, Sergey Samsonov

Исследование рассматривает Linear Stochastic Approximation (LSA) с Polyak-Ruppert (PR) алгоритмом, оптимизированным для Markovian noise. Авторы исследуют bias и high-order error bounds с постоянным шагом $\alpha$ и предлагают новую декомпозицию bias с помощью линеаризации. Они показывают, что leading-order term $\alpha$-зависим и не выравнивается PR-алгоритмом. Для решения этой проблемы, используется Richardson-Romberg (RR) extrapolation, которая эффективно устраняет этот bias. Авторы также разрабатывают high-order moment bounds для RR-итераций и показывают, что лидирующий error-term находится в соответствии с asymptotically optimal covariance matrix в vanilla-averaged LSA. Эти результаты демонстрируют, что RR-extrapolation может улучшить точность и понизить ошибки в Markovian LSA.
Annotation:
In this paper, we study the bias and high-order error bounds of the Linear Stochastic Approximation (LSA) algorithm with Polyak-Ruppert (PR) averaging under Markovian noise. We focus on the version of the algorithm with constant step size $\alpha$ and propose a novel decomposition of the bias via a linearization technique. We analyze the structure of the bias and show that the leading-order term is linear in $\alpha$ and cannot be eliminated by PR averaging. To address this, we apply the Richard...
ID: 2508.05570v1 stat.ML, cs.LG, math.OC, math.ST, stat.TH, 62L20
Показано 561 - 564 из 564 записей