📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Bilge Taskin, Wenxiong Xie, Teddy Lazebnik
## Контекст
Физико-ориентированная символьная регрессия (PiSR) является мощным инструментом для автоматизированного научного открытия, позволяющим выводить уравнения, описывающие физические динамики, из экспериментальных данных. Она обеспечивает объединение математической модели и физических законов, что улучшает общность, точность и понятность полученных уравнений. Однако, существующие методы PiSR часто требуют специальных формализаций и ручного конструирования признаков, что ограничивает их применение, оставляя их доступность ограниченной для широкой кругов научных специалистов. Это приводит к необходимости в развитии методик, которые могут автоматизировать интеграцию доменного знания в процесс PiSR, сделав его более удобным и эффективным для разнообразных научных задач.
## Метод
Мы предлагаем интегрировать предварительно обученные большие языковые модели (LLMs) в процесс PiSR для автоматической интеграции доменного знания. Наш подход добавляет новый терм в функцию потерь PiSR, который оценивает символьное уравнение, предложенное символьной регрессией, с помощью LLM. Это позволяет языковой модели анализировать символьное уравнение и выражать свое мнение о его соответствии физическому контексту. Мы использовали методы символьной регрессии DEAP, gplearn и PySR в сочетании с LLMs Falcon, Mistral и LLama 2. Для оценки подхода, мы проводили эксперименты на трех физических динамиках: движении предмета под воздействием гравитации, простым гармоническим движению и электромагнитным волной.
## Результаты
Эксперименты показали, что интеграция LLMs в PsiSR повышает точность восстановления физических динамик, улучшает устойчивость моделей к шумам и усложненным данным. Особенно заметно улучшение в ситуациях, когда данные имели большой шум или неоднозначности. Мы также провели исследования воздействия промпто-инжиниринга, то есть того, насколько хорошо формулированы инструкции, предъявляемые модели. Наши результаты показали, что более подробные и информативные промпты могут значительно повысить эффективность решения задач.
## Значимость
Наш подход может быть применен в различных областях, где требуется автоматизированное выявление правил и законов, таких как физика, биология, инженерия и даже финансы. Он обеспечивает доступ к более точным и обоснованным моделям, которые могут использоваться для получения новых научных открытий. Кроме того, метод снижает необходимость в ручной работе с моделями, делая их более доступными для научных сообществ, не обладающих особыми знаниями в области машинного обуч
Annotation:
Symbolic regression (SR) has emerged as a powerful tool for automated
scientific discovery, enabling the derivation of governing equations from
experimental data. A growing body of work illustrates the promise of
integrating domain knowledge into the SR to improve the discovered equation's
generality and usefulness. Physics-informed SR (PiSR) addresses this by
incorporating domain knowledge, but current methods often require specialized
formulations and manual feature engineering, limiting their...