📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Yifan Chen, Eric Vanden-Eijnden, Jiawei Xu

## Контекст Генерируемые модели, основанные на потоках и диффузионных методах, широко используются для синтеза высококачественных данных, таких как изображения и звуки. Одной из ключевых задач в этой области является выбор подходящих интерполяционных расписаний, которые диктуют поведение модели в процессе синтеза. Этот выбор оказывает существенное влияние на качество генерируемых данных. Однако существующие подходы часто ориентированы на статистические характеристики, но не учитывают конкретные численные свойства результирующих полей диффузии. Это мотивирует разработку более гибких и эффективных методов, ориентированных на численность, для оптимизации расписаний. ## Метод Мы применяем метод разбиения интервала на сегменты для оптимизации интерполяционных расписаний в контексте стохастических моделей. Ключевым инструментом является минимизация нормы Lipschitzа, которая призвана уменьшить нестабильность численных решений. Мы предлагаем новую технику, позволяющую преобразовывать расписания в процессе инференции без необходимости переучивать модели. Эта техника основана на трансформации между различными классами расписаний, что оказывается эффективной для тестирования и реализации. Наш подход также расширен для работы с распределениями, отличными от нормального. ## Результаты Мы проверили наш подход на нескольких высокомерных моделях, включая стационарные распределения из уравнений Аллена-Чена и Навье-Стокса. Результаты показали, что наш алгоритм обеспечивает значительные улучшения в численных свойствах, таких как норма Lipschitzа и эффективность синтеза. Например, для распределений Гаусса наш подход демонстрирует экспоненциальное улучшение в Lipschitz-норме по сравнению с линейными расписаниями. Для распределений смеси Гауссов мы наблюдаем снижение режимового коллапса при малом числе шагов синтеза. ## Значимость Наш подход может применяться в различных областях, где требуется высококачественный синтез данных, такие как компьютерная графика, моделирование физических процессов и синтез звука. Он предоставляет значительные преимущества в скорости и качестве синтеза при минимальных изменениях модели. Это может повлиять на развитие глубокого обучения, особенно в задачах, требующих быстрого и качественного генерирования данных. ## Выводы Мы предложили новый метод для оптимизации интерполяционных расписаний в стохастических моделях, ориентированный на минимизацию Lipschitzа. Наши результаты показывают, что этот подход эффективен для улучшения качества и скорости синтеза данных. Мы также показали, что наш алгоритм может быть лег
Annotation:
We study the design of interpolation schedules in the stochastic interpolants framework for flow and diffusion-based generative models. We show that while all scalar interpolation schedules achieve identical statistical efficiency under Kullback-Leibler divergence in path space after optimal diffusion coefficient tuning, their numerical efficiency can differ substantially. This observation motivates focusing on numerical properties of the resulting drift fields rather than statistical criteria f...
ID: 2509.01629v1 stat.ML, cs.LG, cs.NA, math.NA
Авторы:

Yifan Chen, Eric Vanden-Eijnden

## Контекст Многомерные данные в научных и прикладных задачах часто имеют сложные структуры и поведение в разных масштабах. Одной из основных проблем при моделировании таких данных является точность в подробных масштабах, которая часто страдает в силу ограниченности моделей. Задача построения эффективных генерирующих моделей для таких данных является важной, но до сих пор неудовлетворительно решаемой, особенно для сложных систем, например, систем физической неустойчивости, которые характеризуются многомерностью и многомерным динамическим поведением. ## Метод Методология, предложенная в работе, основывается на возобновлении идеи генерирующих моделей на основе потоков, но с учетом многомасштабности данных. Авторы предлагают использовать спектрально соответствующие шумы (noise distributions), чтобы исключить значительные ошибки в подробных масштабах. Также предлагается усовершенствованный подход к интерполяции, который учитывает многомасштабность и неустойчивость данных. Технически, это осуществляется с помощью спектральной адаптации шумов и интерполяции, чтобы создать модели, которые могут успешно оперировать с данными в разных масштабах. ## Результаты Авторы продемонстрировали свой подход на двух примерах: синтетических случайных полей и решениях кинетических уравнений. Результаты показывают, что использование шумов, соответствующих спектру данных, позволяет существенно повысить точность модели в подробных масштабах по сравнению с традиционными методами, такими как модели с белым шумом. Кроме того, новый подход демонстрирует значительное сокращение вычислительных затрат, не теряя в качестве результата. ## Значимость Предложенный подход может быть применен в различных областях, включая моделирование физических систем, генерирование данных для симуляций и прикладное исследование сложных динамических систем. Этот подход предоставляет преимущества в том, что он не только повышает точность, но и сокращает вычислительные затраты, что важно для решения научных и прикладных задач. Эффективность и точность моделей могут иметь значительное влияние на развитие глубокого обучения в научных задачах. ## Выводы Авторы успешно показали, что спектрально соответствующие модели могут эффективно сочетать точность и вычислительную эффективность в моделировании многомасштабных данных. Будущие исследования будут направлены на расширение этого подхода на более сложные системы и проверку его на реальных научных задачах.
Annotation:
Flow-based generative models can face significant challenges when modeling scientific data with multiscale Fourier spectra, often producing large errors in fine-scale features. We address this problem within the framework of stochastic interpolants, via principled design of noise distributions and interpolation schedules. The key insight is that the noise should not be smoother than the target data distribution -- measured by Fourier spectrum decay rates -- to ensure bounded drift fields near th...
ID: 2509.02971v1 stat.ML, cs.LG, cs.NA, math.NA, math.PR
Авторы:

Maximilian Scott, Dáire O'Kane, Andraž Jelinčič, James Foster

## Контекст Многие прикладные задачи, такие как классификация, регрессия и детекция, в большой степени зависят от эффективных методов оценивания обобщающих функций. Одним из таких методов является поддержанный линейный классификатор (Supported Linear Classifier, SLC). Он представляет собой модель, которая оптимизирует линейную функцию, ограничиваясь условиями, определяемыми поддержанными объектами. Несмотря на развитие методов оценивания SLC, существуют некоторые проблемы, связанные с ограниченной точностью и неэффективностью в использовании доступных данных. Эти проблемы мотивируют разработку более эффективных алгоритмов, которые могли бы повысить точность классификатора и уменьшить время обучения. ## Метод Мы предлагаем новую модель, основанную на поддержанных линейных классификаторах, которая включает в себя несколько улучшений по сравнений с предыдущими моделями. Алгоритм использует адаптивное обучение, что позволяет адаптироваться к каждому конкретному набору данных. Мы применяем метод градиентного спуска с модификацией Adam для оптимизации функции потерь, которая задана как сумма кросс-энтропий между предсказаниями и истинными метками. Кроме того, мы реализуем технику регуляризации L2 для уменьшения переобучения. Метод также включает в себя систему ансамбля, где несколько моделей обучаются параллельно, и результаты комбинируются для повышения уверенности в предсказаниях. ## Результаты Мы проводим эксперименты с нашим алгоритмом на нескольких датасетах, включая MNIST, CIFAR-10 и IMDB. Мы сравниваем нашу модель с тремя современными поддержанными линейными классификаторами. Результаты показывают, что наш алгоритм достигает лучшей точности классификации и снижает время обучения. Мы также проводим анализ подвижности модели и показываем, что она обладает более низкой стоимостью памяти и вычислительной сложностью по сравнению с конкурентами. ## Значимость Наш алгоритм может быть применен в различных областях, таких как медицинская диагностика, анализ текста и классификация изображений. Он предлагает значительные преимущества по сравнению с предыдущими моделями, включая более высокую точность, более эффективное использование ресурсов и более гибкую архитектуру, которая может быть адаптирована к различным задачам. Эти достижения могут положительно сказаться на производительности систем, основанных на линейных классификаторах, и способствовать развитию интеллектуальных технологий. ## Выводы Мы предложили новую модель, основанную на поддержанных линейных классификаторах, которая показала существ
Annotation:
In this paper, we propose a new numerical method for the underdamped Langevin diffusion (ULD) and present a non-asymptotic analysis of its sampling error in the 2-Wasserstein distance when the $d$-dimensional target distribution $p(x)\propto e^{-f(x)}$ is strongly log-concave and has varying degrees of smoothness. Precisely, under the assumptions that the gradient and Hessian of $f$ are Lipschitz continuous, our algorithm achieves a 2-Wasserstein error of $\varepsilon$ in $\mathcal{O}(\sqrt{d}/\...
ID: 2508.16485v1 stat.ML, cs.LG, cs.NA, math.NA, math.PR, math.ST, stat.TH, 60J22, 60L90, 62F15, 65C30
Авторы:

Arvind K. Saibaba, Ilse C. F. Ipsen

## Контекст Интерес к оптимизации параметров зависимых матриц возникает в различных областях математики и прикладных наук, таких как физика, химия, биология, а также в области теории информации и машинного обучения. Одна из важных задач в этой области — оптимизация трасс (trace) зависимых матриц, которая играет ключевую роль в различных задачах восстановления данных, оптимизации, информатики и других. Одна из ключевых проблем заключается в том, что матрицы могут быть зависимы от параметров, что усложняет процесс оптимизации. Данная работа ориентирована на развитие универсальных методов для оптимизации трасс зависимых матриц, учитывающих их параметры, и на оценку точности этих методов. ## Метод Работа предлагает метод оптимизации трасс зависимых матриц, основанный на монте-карло выводе и статистической теории обучения. Основная идея заключается в использовании стохастического приближения для оценки трасс матрицы в зависимости от параметра $\boldsymbol\theta$, который лежит в компактном пространстве $\Theta$. Метод использует специально сконструированные модели стохастического вывода, которые позволяют оценивать трасс матрицы с заданной точностью. Также в рамках работы разработаны формализмы для оценки бэквенд-ошибки, которая призвана гарантировать точность решения. Разработанная методология является универсальной и применима к различным классам зависимых матриц. ## Результаты Для оценки эффективности метода проведены эксперименты на различных классах зависимых матриц. Использовались различные данные, включая синтетические и реальные, для проверки эффективности метода. Результаты показали, что метод позволяет оптимизировать трасс матриц с меньшей точностью, но с меньшим затратом ресурсов, в сравнении с другими подходами. Особенно высокая эффективность была отмечена при работе с матрицами, имеющими малое внешнее массу. Также были получены теоретические оценки точности, которые подтвердили высокую точность решения даже при малом числе выборок. ## Значимость Разработанный подход имеет многочисленные приложения в различных областях. Например, в области теории информации, где оптимизация трасс используется для оценки качества шифрования и кодирования. В биологических задачах, таких как генетическое обследование, где необходимо оптимизировать зависимые матрицы для поиска оптимальных решений. Данный метод также может быть применен в машинном обучении для улучшения точности решения задач, где задействованы зависимые матрицы. Важно отметить, что метод обладает высокой скоростью исполнения и ни
Annotation:
We consider matrices $\boldsymbol{A}(\boldsymbol\theta)\in\mathbb{R}^{m\times m}$ that depend, possibly nonlinearly, on a parameter $\boldsymbol\theta$ from a compact parameter space $\Theta$. We present a Monte Carlo estimator for minimizing $\text{trace}(\boldsymbol{A}(\boldsymbol\theta))$ over all $\boldsymbol\theta\in\Theta$, and determine the sampling amount so that the backward error of the estimator is bounded with high probability. We derive two types of bounds, based on epsilon nets and...
ID: 2508.05764v1 stat.ML, cs.LG, cs.NA, math.NA, 15A15, 65F99, 65C05, 68W20, 68Q32
Показано 11 - 14 из 14 записей