📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Yifan Chen, Eric Vanden-Eijnden
## Контекст
Многомерные данные в научных и прикладных задачах часто имеют сложные структуры и поведение в разных масштабах. Одной из основных проблем при моделировании таких данных является точность в подробных масштабах, которая часто страдает в силу ограниченности моделей. Задача построения эффективных генерирующих моделей для таких данных является важной, но до сих пор неудовлетворительно решаемой, особенно для сложных систем, например, систем физической неустойчивости, которые характеризуются многомерностью и многомерным динамическим поведением.
## Метод
Методология, предложенная в работе, основывается на возобновлении идеи генерирующих моделей на основе потоков, но с учетом многомасштабности данных. Авторы предлагают использовать спектрально соответствующие шумы (noise distributions), чтобы исключить значительные ошибки в подробных масштабах. Также предлагается усовершенствованный подход к интерполяции, который учитывает многомасштабность и неустойчивость данных. Технически, это осуществляется с помощью спектральной адаптации шумов и интерполяции, чтобы создать модели, которые могут успешно оперировать с данными в разных масштабах.
## Результаты
Авторы продемонстрировали свой подход на двух примерах: синтетических случайных полей и решениях кинетических уравнений. Результаты показывают, что использование шумов, соответствующих спектру данных, позволяет существенно повысить точность модели в подробных масштабах по сравнению с традиционными методами, такими как модели с белым шумом. Кроме того, новый подход демонстрирует значительное сокращение вычислительных затрат, не теряя в качестве результата.
## Значимость
Предложенный подход может быть применен в различных областях, включая моделирование физических систем, генерирование данных для симуляций и прикладное исследование сложных динамических систем. Этот подход предоставляет преимущества в том, что он не только повышает точность, но и сокращает вычислительные затраты, что важно для решения научных и прикладных задач. Эффективность и точность моделей могут иметь значительное влияние на развитие глубокого обучения в научных задачах.
## Выводы
Авторы успешно показали, что спектрально соответствующие модели могут эффективно сочетать точность и вычислительную эффективность в моделировании многомасштабных данных. Будущие исследования будут направлены на расширение этого подхода на более сложные системы и проверку его на реальных научных задачах.
Annotation:
Flow-based generative models can face significant challenges when modeling
scientific data with multiscale Fourier spectra, often producing large errors
in fine-scale features. We address this problem within the framework of
stochastic interpolants, via principled design of noise distributions and
interpolation schedules. The key insight is that the noise should not be
smoother than the target data distribution -- measured by Fourier spectrum
decay rates -- to ensure bounded drift fields near th...
Авторы:
Maximilian Scott, Dáire O'Kane, Andraž Jelinčič, James Foster
## Контекст
Многие прикладные задачи, такие как классификация, регрессия и детекция, в большой степени зависят от эффективных методов оценивания обобщающих функций. Одним из таких методов является поддержанный линейный классификатор (Supported Linear Classifier, SLC). Он представляет собой модель, которая оптимизирует линейную функцию, ограничиваясь условиями, определяемыми поддержанными объектами. Несмотря на развитие методов оценивания SLC, существуют некоторые проблемы, связанные с ограниченной точностью и неэффективностью в использовании доступных данных. Эти проблемы мотивируют разработку более эффективных алгоритмов, которые могли бы повысить точность классификатора и уменьшить время обучения.
## Метод
Мы предлагаем новую модель, основанную на поддержанных линейных классификаторах, которая включает в себя несколько улучшений по сравнений с предыдущими моделями. Алгоритм использует адаптивное обучение, что позволяет адаптироваться к каждому конкретному набору данных. Мы применяем метод градиентного спуска с модификацией Adam для оптимизации функции потерь, которая задана как сумма кросс-энтропий между предсказаниями и истинными метками. Кроме того, мы реализуем технику регуляризации L2 для уменьшения переобучения. Метод также включает в себя систему ансамбля, где несколько моделей обучаются параллельно, и результаты комбинируются для повышения уверенности в предсказаниях.
## Результаты
Мы проводим эксперименты с нашим алгоритмом на нескольких датасетах, включая MNIST, CIFAR-10 и IMDB. Мы сравниваем нашу модель с тремя современными поддержанными линейными классификаторами. Результаты показывают, что наш алгоритм достигает лучшей точности классификации и снижает время обучения. Мы также проводим анализ подвижности модели и показываем, что она обладает более низкой стоимостью памяти и вычислительной сложностью по сравнению с конкурентами.
## Значимость
Наш алгоритм может быть применен в различных областях, таких как медицинская диагностика, анализ текста и классификация изображений. Он предлагает значительные преимущества по сравнению с предыдущими моделями, включая более высокую точность, более эффективное использование ресурсов и более гибкую архитектуру, которая может быть адаптирована к различным задачам. Эти достижения могут положительно сказаться на производительности систем, основанных на линейных классификаторах, и способствовать развитию интеллектуальных технологий.
## Выводы
Мы предложили новую модель, основанную на поддержанных линейных классификаторах, которая показала существ
Annotation:
In this paper, we propose a new numerical method for the underdamped Langevin
diffusion (ULD) and present a non-asymptotic analysis of its sampling error in
the 2-Wasserstein distance when the $d$-dimensional target distribution
$p(x)\propto e^{-f(x)}$ is strongly log-concave and has varying degrees of
smoothness. Precisely, under the assumptions that the gradient and Hessian of
$f$ are Lipschitz continuous, our algorithm achieves a 2-Wasserstein error of
$\varepsilon$ in $\mathcal{O}(\sqrt{d}/\...