Training a Foundation Model for Materials on a Budget

## Контекст Фундаментальные модели для моделирования материалов (Foundation Models for Materials Modeling) получили большое внимание в последние годы благодаря их потенциалу в упрощении и ускорении процессов разработки материалов. Однако их обучение остается незаменимым, но дорогостоящим занятием, что часто делает современные методы недоступными для многих научных групп. Из-за высоких требований к вычислительным ресурсам и сложности параметризации эти модели остаются закрытыми для небольших исследовательских групп и отраслей, лежащих вне лидеров в области интеллектуальных технологий. Наша модель Nequix призвана решить эти проблемы, демонстрируя, что можно создать мощную модель, не теряя качества, но с меньшими затратами. ## Метод Nequix — это компактная эквиварентная модель E(3), разработанная на основе NequIP. Мы внедрили в нее упрощенный дизайн и применили современные техники обучения, включая нормализацию ядер с размерностью E(3) и оптимизатор Muon, чтобы сохранить высокую точность, но с значительной экономией ресурсов. Модель Nequix имеет 700 тысяч параметров и была обучена в течение 500 часов на 100 GPU A100. Она была реализована на платформе JAX, что обеспечивает высокую эффективность и модульность. ## Результаты Мы проверили предложенную модель на двух бенчмарках: Matbench-Discovery и MDR Phonon. Nequix заняла третье место в общей сложности, но потребляет менее чем в четверть ресурсов, чем большинство других моделей. Особое внимание заслуживает ее высокая скорость ответа: Nequix работает в разы быстрее, чем самая быстрая модель по ранжированию. Это делает ее особенно привлекательной для задач, требующих реального времени. Мы также открыли код и веса модели, чтобы обеспечить полную републикацию исследований. ## Значимость Модель Nequix демонстрирует, что можно создать мощную модель для моделирования материалов с меньшими затратами. Она имеет широкие приложения в области разработки продуктов, химии и материаловедения. Ее высокая скорость и эффективность открывают пути к интеллектуальной моделированию материалов в реальном времени. Мы видим в этой модели будущее для открытого и доступного исследования в области упрощенных моделей для моделирования материалов. ## Выводы Мы представили Nequix, модель с 700 тысяч параметров, обученную всего за 500 часов на 100 GPU A100, которая показала себя на высоте. Наши достижения показывают, что можно создавать эффективные модели без серьезных требований к ресурсам. Мы призываем сообщество к дальнейшим исследованиям в направлении упрощенных фундаментальных моделей, чтобы сделать их доступными для всех.