📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Leo Zhang
Маскованные дискретные диффузионные модели (Masked Discrete Diffusion Models, MDDM) являются мощным инструментом для работы с дискретными данными. Одним из ключевых аспектов их эффективного использования является выбор оптимального способа дискретизации при выводе. В статье "The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models" автор рассматривает проблему оптимального выбора схемы дискретизации, основываясь на геометрии информации Fisher-Rao. На основе анализа автор показывает, что оптимальной схемой является популярный **cosine schedule**, который уже используется в практике. Это вывод не только подтверждает ценность уже имеющихся практических решений, но и дает понимание заслуг этой схемы с точки зрения теории. Результаты статьи полезны для развития методологии диффузионных моделей и их применения в различных задачах машинного обучения.
Annotation:
In this work, we study the problem of choosing the discretisation schedule
for sampling from masked discrete diffusion models in terms of the information
geometry of the induced probability path. Specifically, we show that the
optimal schedule under the Fisher-Rao geometry recovers the popularly-used
cosine schedule.
Авторы:
Ziliang Shen, Caixing Wang, Shaoli Wang, Yibo Yan
Защита личных данных становится ключевой проблемой при анализе больших, распределенных и неоднородных данных, содержащих конфиденциальную информацию. В статье предлагается развитие метода дифференциальной частичной конфиденциальности для регрессии по квантилям в высокомidimensionalном случае. Основной инновацией является реформализация задачи регрессии по квантилям в задачу обыкновенного минимума квадратов с помощью новых трансформаций. Это позволяет совместить высокую точность истинных значений с гарантией дифференциальной конфиденциальности. Более того, разработаны алгоритмы для вычисления доверительных интервалов и проведения тестирования гипотез в рамках данной модели. Демонстрируется эффективность этого подхода в распределенном условии, так как он подходит как для небольших, так и для обильных данных. Эксперименты показали, что предлагаемый подход обеспечивает точность и гибкость, необходимую для реалистичных сценариев анализа данных.
Annotation:
With the development of big data and machine learning, privacy concerns have
become increasingly critical, especially when handling heterogeneous datasets
containing sensitive personal information. Differential privacy provides a
rigorous framework for safeguarding individual privacy while enabling
meaningful statistical analysis. In this paper, we propose a differentially
private quantile regression method for high-dimensional data in a distributed
setting. Quantile regression is a powerful and...
Авторы:
Bingfan Liu, Peijun Sang
**Резюме**
В работе предлагается $L_1$-регуляризованная функциональная поддержковая машина векторных машин (SVM) для решения задачи бинарной классификации с многомерными функциональными признаками. Обычно в функциональном анализе фокус ограничивается одним функциональным признаком, что приводит к ограниченности в обработке более сложных данных. Задача авторов — заполнить этот пробел, развивая модель, которая учитывает многомерные функциональные признаки.
Новая модель включает $L_1$-регуляризацию, позволяющую выделять важные функциональные признаки, относящиеся к классу. Алгоритм разработан для эффективного оценивания этой модели. Эксперименты на симуляционных и реальных данных показали, что предложенная модель обеспечивает высокую точность классификации и эффективный выбор признаков. Это делает ее применимую в сложных задачах, где требуется обработка функциональных данных и выделение важных фичей.
Annotation:
In functional data analysis, binary classification with one functional
covariate has been extensively studied. We aim to fill in the gap of
considering multivariate functional covariates in classification. In
particular, we propose an $L_1$-regularized functional support vector machine
for binary classification. An accompanying algorithm is developed to fit the
classifier. By imposing an $L_1$ penalty, the algorithm enables us to identify
relevant functional covariates of the binary response. Nu...
Авторы:
Ilya Levin, Alexey Naumov, Sergey Samsonov
Исследование рассматривает Linear Stochastic Approximation (LSA) с Polyak-Ruppert (PR) алгоритмом, оптимизированным для Markovian noise. Авторы исследуют bias и high-order error bounds с постоянным шагом $\alpha$ и предлагают новую декомпозицию bias с помощью линеаризации. Они показывают, что leading-order term $\alpha$-зависим и не выравнивается PR-алгоритмом. Для решения этой проблемы, используется Richardson-Romberg (RR) extrapolation, которая эффективно устраняет этот bias. Авторы также разрабатывают high-order moment bounds для RR-итераций и показывают, что лидирующий error-term находится в соответствии с asymptotically optimal covariance matrix в vanilla-averaged LSA. Эти результаты демонстрируют, что RR-extrapolation может улучшить точность и понизить ошибки в Markovian LSA.
Annotation:
In this paper, we study the bias and high-order error bounds of the Linear
Stochastic Approximation (LSA) algorithm with Polyak-Ruppert (PR) averaging
under Markovian noise. We focus on the version of the algorithm with constant
step size $\alpha$ and propose a novel decomposition of the bias via a
linearization technique. We analyze the structure of the bias and show that the
leading-order term is linear in $\alpha$ and cannot be eliminated by PR
averaging. To address this, we apply the Richard...
Показано 561 -
564
из 564 записей