MORPH: Shape-agnostic PDE Foundation Models
2509.21670v1
cs.CV, cs.AI, cs.LG, physics.comp-ph
2025-09-30
Авторы:
Mahindra Singh Rautela, Alexander Most, Siddharth Mansingh, Bradley C. Love, Ayan Biswas, Diane Oyen, Earl Lawrence
Резюме на русском
#### Контекст
В настоящее время сложность исследований в области научных вычислений, в основе которых лежат численное решение частных дифференциальных уравнений (PDE), значительно растет. Одной из основных задач является обработка разнородных данных, относящихся к различным физическим полям, на разных размерностях пространства и времени, что приводит к необходимости развития моделей, которые могут эффективно обрабатывать такие данные. Более того, существуют проблемы с масштабируемостью и эффективностью обучения моделей. Необходимо создать модели, которые могут обучаться на небольших объемах данных и при этом успешно применяться к различным задачам. Таким образом, введение моделей, которые могут обрабатывать разнородные данные в PDE, является ключевым мотивом для создания MORPH.
#### Метод
MORPH — это авторегрессионная фондаментальная модель для PDE, основанная на конvolutional vision transformer. Она также обладает широким спектром возможностей по обработке разных видов данных, включая 1D, 2D и 3D, а также различные физические поля, которые могут иметь скалярные и векторные компоненты. Модель имеет множество новых архитектурных решений: (i) компонентное конvolution — обработка скалярных и векторных каналов, (ii) cross-attention между полями, которая позволяет передавать информацию между различными физическими полями, и (iii) axial attention — разделение полного spatiotemporal self-attention на отдельные спациальные и временные оси для сокращения вычислительной сложности, при этом не теряя экспрессивности. Эти архитектурные решения позволяют MORPH обрабатывать разнородные данные, преодолевая традиционные ограничения моделей.
#### Результаты
Модель была протестирована на разных наборах данных, включающих обобщенные PDE, а также подготовлена на разных PDE-датасетах. Были проведены эксперименты, показавшие, что MORPH показывает высокую точность в задачах нулевого запуска (zero-shot) и предобученных моделей (full-shot). Она показала лучшие результаты в сравнении с другими моделями, в том числе и с результатами последних состояний технологий. Были проведены исследования, показавшие, что MORPH может эффективно обрабатывать данные разных размерностей и выполнять предсказания в различных физических задачах. Это подтверждает широкую многообразие применений и высокую точность.
#### Значимость
MORPH представляет собой готовую модель для обработки разнородных данных в PDE. Она может быть применена в различных областях, включая уравнения городского теплового режима, оптики, физики жидкостей и др. Эта модель также может использоваться для различных задач, в том числе задач сбора данных, эффективного обучения в режиме нулевого запуска (zero-shot), а также для работы с небольшими объема
Abstract
We introduce MORPH, a shape-agnostic, autoregressive foundation model for
partial differential equations (PDEs). MORPH is built on a convolutional vision
transformer backbone that seamlessly handles heterogeneous spatiotemporal
datasets of varying data dimensionality (1D--3D) at different resolutions,
multiple fields with mixed scalar and vector components. The architecture
combines (i) component-wise convolution, which jointly processes scalar and
vector channels to capture local interactions, (ii) inter-field
cross-attention, which models and selectively propagates information between
different physical fields, (iii) axial attentions, which factorizes full
spatiotemporal self-attention along individual spatial and temporal axes to
reduce computational burden while retaining expressivity. We pretrain multiple
model variants on a diverse collection of heterogeneous PDE datasets and
evaluate transfer to a range of downstream prediction tasks. Using both
full-model fine-tuning and parameter-efficient low-rank adapters (LoRA), MORPH
outperforms models trained from scratch in both zero-shot and full-shot
generalization. Across extensive evaluations, MORPH matches or surpasses strong
baselines and recent state-of-the-art models. Collectively, these capabilities
present a flexible and powerful backbone for learning from heterogeneous and
multimodal nature of scientific observations, charting a path toward scalable
and data-efficient scientific machine learning.