Knowledge Integration for Physics-informed Symbolic Regression Using Pre-trained Large Language Models

## Контекст Физико-ориентированная символьная регрессия (PiSR) является мощным инструментом для автоматизированного научного открытия, позволяющим выводить уравнения, описывающие физические динамики, из экспериментальных данных. Она обеспечивает объединение математической модели и физических законов, что улучшает общность, точность и понятность полученных уравнений. Однако, существующие методы PiSR часто требуют специальных формализаций и ручного конструирования признаков, что ограничивает их применение, оставляя их доступность ограниченной для широкой кругов научных специалистов. Это приводит к необходимости в развитии методик, которые могут автоматизировать интеграцию доменного знания в процесс PiSR, сделав его более удобным и эффективным для разнообразных научных задач. ## Метод Мы предлагаем интегрировать предварительно обученные большие языковые модели (LLMs) в процесс PiSR для автоматической интеграции доменного знания. Наш подход добавляет новый терм в функцию потерь PiSR, который оценивает символьное уравнение, предложенное символьной регрессией, с помощью LLM. Это позволяет языковой модели анализировать символьное уравнение и выражать свое мнение о его соответствии физическому контексту. Мы использовали методы символьной регрессии DEAP, gplearn и PySR в сочетании с LLMs Falcon, Mistral и LLama 2. Для оценки подхода, мы проводили эксперименты на трех физических динамиках: движении предмета под воздействием гравитации, простым гармоническим движению и электромагнитным волной. ## Результаты Эксперименты показали, что интеграция LLMs в PsiSR повышает точность восстановления физических динамик, улучшает устойчивость моделей к шумам и усложненным данным. Особенно заметно улучшение в ситуациях, когда данные имели большой шум или неоднозначности. Мы также провели исследования воздействия промпто-инжиниринга, то есть того, насколько хорошо формулированы инструкции, предъявляемые модели. Наши результаты показали, что более подробные и информативные промпты могут значительно повысить эффективность решения задач. ## Значимость Наш подход может быть применен в различных областях, где требуется автоматизированное выявление правил и законов, таких как физика, биология, инженерия и даже финансы. Он обеспечивает доступ к более точным и обоснованным моделям, которые могут использоваться для получения новых научных открытий. Кроме того, метод снижает необходимость в ручной работе с моделями, делая их более доступными для научных сообществ, не обладающих особыми знаниями в области машинного обуч