📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Coşku Can Horuz, Sebastian Otte, Martin V. Butz, Matthias Karlbauer
## Контекст
Многие задачи в различных областях (например, метеорологии, обработка изображений и другие) требуют моделей, которые могут эффективно обрабатывать тензорные данные и предсказывать результаты с учетом пространственных и временных зависимостей. Однако существующие методы часто сталкиваются с проблемами масштабируемости, эффективности и точностью. Например, ConvLSTM и ConvGRU эффективны в обработке сложных пространственных зависимостей, но их последовательность обновлений состояния является большим ограничением. Модели, основанные на Minimal LSTMs (MinLSTM) и Minimal GRUs (MinGRU), хорошо подходят для эффективной обработки пространственных зависимостей, но не всегда подходят для сложных пространственно-временных задач. Это создает мотивацию для разработки моделей, которые объединяют лучшие качества обеих этих подходов.
## Метод
Мы предлагаем две новые модели – MinConvLSTM и MinConvGRU – которые объединяют методы Log-Domain Prefix-Sum и Convolutional Architectures. Минимальные LSTMs (MinLSTM) являются уменьшенными версиями стандартных LSTMs, которые имеют меньшую сложность и выгодно подходят для пространственных задач. **MinConvLSTM** и **MinConvGRU** расширяют эту идею, используя свёрточные сети для пространственного моделирования. Мы также внедрили экспоненциальный механизм гейтинга, основанный на xLSTM, чтобы улучшить процесс обучения. Мы разработали модели таким образом, чтобы они могли быть обучены параллельно, что значительно улучшает их скорость обучения.
## Результаты
Мы проверили нашу модель на двух задачах: синтез динамики Navier-Stokes и данных реального мира, относящихся к геопотенциалу. Мы сравнили MinConvLSTM и MinConvGRU с ConvLSTM и ConvGRU. Наши результаты показали, что минимальные модели обучаются быстрее и показывают лучшие результаты в этих задачах, даже при выполнении задачи в режиме autoregressive. Это свидетельствует о том, что наш подход эффективно комбинирует пространственную моделирование и эффективность в вычислениях.
## Значимость
Модели MinConvLSTM и MinConvGRU могут быть применены во многих областях, где требуется моделирование пространственно-временных зависимостей. Они обеспечивают значительное улучшение скорости обучения и точности предсказаний по сравнению с другими моделями. Эта модель может быть применена в метеорологии, технологиях видео-обработки, прогнозировании динамики систем и других сложных задачах. Наш подход предоставляет преимущество в скорости и эффективности, что может положительно влиять на развитие моделей в сложных средах.
## Выводы
Мы представили MinConvLSTM и MinConvGRU - модели, которые объединяют лучшие качества ConvRNN и Min LSTM. Наши результаты показали, что эти модели эффективно решаю
Annotation:
We introduce MinConvLSTM and MinConvGRU, two novel spatiotemporal models that
combine the spatial inductive biases of convolutional recurrent networks with
the training efficiency of minimal, parallelizable RNNs. Our approach extends
the log-domain prefix-sum formulation of MinLSTM and MinGRU to convolutional
architectures, enabling fully parallel training while retaining localized
spatial modeling. This eliminates the need for sequential hidden state updates
during teacher forcing - a major bot...
Авторы:
Justin Lee, Behnaz Moradijamei, Heman Shakeri
Избыточная сложность и ограниченность данных, собранных в редкие моменты времени, часто помешают моделировать процессы в высокомеричных системах, особенно в области биологии и других наук. Традиционные модели, ориентированные на сокращение размерности данных, часто не удается локализовать значимые транзиентные поведения в неустойчивых системах. Мы предлагаем Multi-Marginal Stochastic Flow Matching (MMSFM), расширенную модель, основанную на ключевых понятиях симуляционно-бесплатных методов построения пространства вектора ошибки и стохастических потоков. Эта модель позволяет сопоставить данные, собранные в неравномерные моменты времени, без уменьшения размерности, используя продвинутые меропольные кривые. Мы проверили нашу модель на многих синтетических и реальных данных, включая выравнивание генных выражений и задачу распознавания изображений, показав высокую точность и гибкость в работе с неравномерными данными.
Annotation:
Modeling the evolution of high-dimensional systems from limited snapshot
observations at irregular time points poses a significant challenge in
quantitative biology and related fields. Traditional approaches often rely on
dimensionality reduction techniques, which can oversimplify the dynamics and
fail to capture critical transient behaviors in non-equilibrium systems. We
present Multi-Marginal Stochastic Flow Matching (MMSFM), a novel extension of
simulation-free score and flow matching methods...
Авторы:
Mariia Sorokina
**Резюме**
В данной работе предлагается новая методика — гармоническая преобразование фракталов — для моделирования сложных нейронных процессов. Отличаясь от традиционных фильтров, которые только изменяют спектр входных сигналов, предложенное решение вводит новые частотные компоненты через фрактальное преобразование входных данных. Это позволяет динамически формировать входящие спектры и создавать спайки в оптимальных для детектирования частотах. Таким образом, модель демонстрирует высокую чувствительность к сигналу, высокую устойчивость к шуму и возможность шум-индуцированной амплификации сигнала. Результаты показывают, что нейронная функциональность может быть описана как линейная сумма частотных компонент, обработанных нелинейным преобразованием частотного спектра. Это предлагаемое решение открывает новые горизонты для моделирования и анализа нейронных сигналов в области AI и робототехники.
Annotation:
We propose the first fractal frequency mapping, which in a simple form
enables to replicate complex neuronal effects. Unlike the conventional filters,
which suppress or amplify the input spectral components according to the filter
weights, the transformation excites novel components by a fractal recomposition
of the input spectra resulting in a formation of spikes at resonant frequencies
that are optimal for sampling. This enables high sensitivity detection,
robustness to noise and noise-induced...
📄 Discovering Interpretable Programmatic Policies via Multimodal LLM-assisted Evolutionary Search
2025-08-09Авторы:
Qinglong Hu, Xialiang Tong, Mingxuan Yuan, Fei Liu, Zhichao Lu, Qingfu Zhang
**Резюме**
Надежность и прозрачность управляющих политик являются ключевыми задачами при их разработке, особенно для систем, требующих высокой надежности и безопасности. Несмотря на потрясающие успехи глубокого ускоренного обучения, его непрозрачность часто становится причиной проблем с доверием и реализацией в реальном мире. Мы предлагаем новую методику построения интерпретируемых управляющих политик — MLES (Multimodal Large Language Model-assisted Evolutionary Search), объединяющую модели текстового понимания на основе технологий глубокого обучения с эволюционным подходом. Этот подход позволяет анализировать поведение политики с применением визуальных данных, что улучшает эффективность и устойчивость подхода. На двух экспериментальных задачах были получены результаты, которые демонстрируют высокую эффективность и человекопонятную интерпретацию алгоритмов. Мы показали, что MLES превзошел Proximal Policy Optimization (PPO) на большинстве экспериментов и обеспечил прозрачность и значимость разработанных политик. Этот подход может стать основой для будущих разработок прозрачных и надежных управляющих систем.
Annotation:
Interpretability and high performance are essential goals in designing
control policies, particularly for safety-critical tasks. Deep reinforcement
learning has greatly enhanced performance, yet its inherent lack of
interpretability often undermines trust and hinders real-world deployment. This
work addresses these dual challenges by introducing a novel approach for
programmatic policy discovery, called Multimodal Large Language Model-assisted
Evolutionary Search (MLES). MLES utilizes multimodal...
Показано 71 -
74
из 74 записей