Evaluating Universal Machine Learning Force Fields Against Experimental Measurements

## Контекст Материаловедение и химия наноструктур широко применяются в разработке новых материалов, но их развитие ограничивается долгим и дорогостоящим процессом экспериментов. Универсальные модели машинного обучения для силы (Universal Machine Learning Force Fields, UMLFFs) предлагают революционную возможность сократить время и стоимость разработки материалов, предназначенных для многочисленных приложений. Однако существуют значительные проблемы с оцениванием этих моделей. Настоящие эксперименты в материаловедении достаточно сложны и представляют собой многочисленные химические и физические факторы, которые могут существенно изменять поведение материалов. Эти факторы часто остаются за пределами учета в существующих моделях и контролируемых вычислительных экспериментах. Таким образом, нужно разработать эффективный метод для проверки и оценки моделей UMLFFs, чтобы их можно было использовать на практике с минимальным риском ошибок и неоднозначности. ## Метод Мы предложили UniFFBench — новую систему для оценки UMLFFs, которая основывается на сравнении моделей с реальными экспериментальными данными. UniFFBench включает в себя базу данных, содержащую ~1 500 структур минералов, характеризующих различные виды химических связей, сложности структур и свойств эластичности. Данные были загружены из различных открытых источников, таких как Materials Project и ICSD. Мы оценивали диапазон шести современных моделей UMLFFs, используя три ключевые критерия: точность предсказаний, стабильность моделирования и практическую применимость результатов. Эта система позволяет выявить систематические недостатки и представляет собой новый стандарт для проверки моделей UMLFFs в реальных условиях. ## Результаты Наши результаты показали, что хотя некоторые модели UMLFFs показали высокую точность в вычислительных экспериментах, они существенно существенно замедляются в реальных условиях. Наилучшая модель имела средний отклонение в предсказании плотности в 5%, что превышает допустимую погрешность для большинства прикладных задач. Мы также обнаружили, что представление данных в обучающем наборе имеет более значительное влияние на точность модели, чем метод моделирования. Это значит, что модели, обученные на ограниченных данных, могут представлять собой недостоверные суждения о реальных материалах. Кроме того, мы обнаружили сильное расхождение между стабильностью моделирования и точностью предсказания механических свойств, что подтверждает требуемый подход к оценке UMLFFs. ## Значимость UniFFBench представляет собой эффективный инструмент для экспериментальной оценки UMLFFs и может бы