📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Tomas Ortega, Hamid Jafarkhani
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We propose the first parameter-free decentralized online learning algorithms
with network regret guarantees, which achieve sublinear regret without
requiring hyperparameter tuning. This family of algorithms connects multi-agent
coin-betting and decentralized online learning via gossip steps. To enable our
decentralized analysis, we introduce a novel "betting function" formulation for
coin-betting that simplifies the multi-agent regret analysis. Our analysis
shows sublinear network regret bounds ...
Авторы:
Yudong Wei, Liang Zhang, Bingcong Li, Niao He
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
While normalization techniques are widely used in deep learning, their
theoretical understanding remains relatively limited. In this work, we
establish the benefits of (generalized) weight normalization (WN) applied to
the overparameterized matrix sensing problem. We prove that WN with Riemannian
optimization achieves linear convergence, yielding an exponential speedup over
standard methods that do not use WN. Our analysis further demonstrates that
both iteration and sample complexity improve po...
📄 A Recovery Theory for Diffusion Priors: Deterministic Analysis of the Implicit Prior Algorithm
2025-09-27Авторы:
Oscar Leong, Yann Traonmilin
## Контекст
Реконструкция высокомерных сигналов из поврежденных измерений является центральной проблемой в области вычислительных приемов. Несмотря на то, что в условиях неинвазивного мониторинга (например, при использовании ЭКГ, ЭЭГ, магнитного резонанса изображения) данные часто повреждаются шумом, существуют технологии, которые позволяют восстановить информацию с меньшим количеством данных. Одним из таких подходов является использование генерируемых моделей, которые дают оптимальные решения в области инверсных задач. Однако, несмотря на их эмпирический успех, существуют ограниченные теоретические гарантии восстановления. Наша работа построена на основе работы Kadkhodaie & Simoncelli \cite{kadkhodaie2021stochastic}, где мы развиваем теоретическую модель для анализа детерминированных методов основанных на модели диффузии. Мы стремимся раскрыть теоретические причины успеха этих моделей в отношении инверсных задач.
## Метод
Мы предлагаем новую теоретическую модель, основывающуюся на генерируемой модели диффузии для решения инверсных задач. Наша методология включает в себя определение детерминированного алгоритма, связанного с генерируемой моделью диффузии, который используется для восстановления высокомерных сигналов. Мы развиваем анализ нового типа проекционных методов, опираясь на идею генерируемых моделей диффузии. В свою очередь, мы используем теорию разложения векторов в нормальных распределениях, чтобы построить новый подход к решению инверсных задач. Модель алгоритма основывается на оптимизации задачи, приближенной к проекционному методу, но с динамическими изменениями проектов. Была разработана архитектура алгоритма, включающая в себя моделирование сигнала и шума, которая позволяет анализировать свойства этого метода.
## Результаты
Мы проводим эксперименты на двух основных типах данных: 1) равномерные распределения в низкомерных компактных множествах и 2) низкоранговые гауссовые смеси. Наши эксперименты показывают, что алгоритм позволяет достичь высокой точности восстановления в случае, когда множество сигналов может быть описано низкоранговыми моделями. Были получены квантитативные оценки на различных типах данных, которые подтверждают эффективность алгоритма в случае условий ограниченности модели. Мы также демонстрируем свойство метода в случае высокого ранга модели, показывая, что алгоритм способен восстановить сигнал, даже при высокой ранговой структуре данных.
## Значимость
Мы применили нашу модель в двух ключевых областях: 1) восстановлении данных в условиях низ
Annotation:
Recovering high-dimensional signals from corrupted measurements is a central
challenge in inverse problems. Recent advances in generative diffusion models
have shown remarkable empirical success in providing strong data-driven priors,
but rigorous recovery guarantees remain limited. In this work, we develop a
theoretical framework for analyzing deterministic diffusion-based algorithms
for inverse problems, focusing on a deterministic version of the algorithm
proposed by Kadkhodaie \& Simoncelli ...