Towards a Physics Foundation Model

## Контекст Область исследования, связанная с физикой и машинным обучением, становится все более важной в научном и технологическом мире. На сегодняшний день, существующие физико-ориентированные методы машинного обучения ограничены одним частным видом физических систем и требуют постоянного переобучения для применения в других ситуациях. Это значительно ограничивает их широту применения и эффективность. Многие аспекты физических процессов, такие как теплообмен, движение жидкости, динамика звука и другие, требуют сложных и ресурсоемких моделей для точного прогнозирования. Эта сложность означает, что значительное время и средства требуются для разработки специализированных решений. Однако с появлением фундаментальных моделей (Foundation Models) в области естественного языка, появилась возможность перенести этот подход на область физики. Такая модель способна "научиться разбираться" в разных физических процессах без необходимости переобучения, что может упростить доступ к высококачественным моделям и ускорить исследования. ## Метод Мы предлагаем General Physics Transformer (GPhyT), основанный на трансформерной архитектуре, для создания универсальной физической модели. Эта модель обучается на необработанных данных симуляций, которые включают различные физические системы, такие как течение жидкости, шокирующие волны, термическая конвекция и другие. Основное предположение заключается в том, что трансформеры могут научиться интерпретировать и предсказывать динамику физических систем на основе контекста, не требуя предварительного определения уравнений. В нашей работе достигнут три ключевых результата: (1) Гиперпараметры GPhyT позволяют ему решать задачи в разных физических областях, демонстрируя превосходство над специализированными архитектурами до 29 раз. (2) GPhyT легко может работать с новыми системами, которые не были видны во время обучения, благодаря возможности in-context learning. (3) Модель обеспечивает стабильные прогнозы на длительные сроки, которые могут достигать до 50 шагов вперед в процессе временного роллаута. Этот подход предлагает новый способ построения универсальной модели, которая может быть применена в разных физических ситуациях. ## Результаты Мы проводили эксперименты, используя 1.8 TB данных, включающих различные физические системы. Наши результаты показали, что GPhyT не только превосходит существующие модели в нескольких физических областях, но и может предсказывать динамику в новых ситуациях без дополнительного обучения. Например, модель смогла точно прогнозировать