Uncovering Emergent Physics Representations Learned In-Context by Large Language Models

## Контекст Large language models (LLMs) являются мощными инструментами для обработки текстовых задач, основываясь на возможности in-context learning (ICL), которая позволяет им выполнять разнообразные задачи с помощью простых текстовых призывов. Эти модели успешно применяются в многих областях, но понимание механизмов, скрытых за этим процессом, остается неполным. Одним из более захватывающих направлений является исследование того, могут ли LLMs учиться в контексте научных задач, особенно в физике. Физические системы предлагают реальные, данные на основе физических принципов, и их моделирование требует строгого логического мышления. Это делает физические задачи полезными для исследования возможностей LLMs в области устранения неполадок в физических системах. В данном исследовании мы рассматриваем возможность LLMs для того, чтобы "узнавать" физику в контексте и проверяем, насколько эффективно они могут применять эти знания для решения задач. ## Метод Мы использовали метод in-context learning для оценки возможностей LLMs в физических задачах, опираясь на задачу прогнозирования динамики. Для выявления того, какие части модели активируются в процессе обучения, мы использовали sparse autoencoders (SAEs), которые позволяют определить, какие физические параметры (например, энергия) содержатся в внутренних представлениях модели. Выполнялись повторяемые эксперименты с разными размерами контекста, чтобы проверить, насколько длинные текстовые призывы влияют на точность прогнозов. Эти эксперименты направлены на выявление, как LLMs учится в контексте, и какие физические понятия они могут выучить в процессе обучения. ## Результаты Наши эксперименты показали, что точность прогноза динамики в физических системах в LLMs улучшается, когда используются более длинные контексты. Мы также выявили, что внутренние представления модели, полученные с помощью SAEs, сильно коррелируют с физическими параметрами, такими как энергия системы. Это указывает на то, что LLMs могут выучивать и хранить значимые физические величины во время обучения в контексте. Мы также заметили, что модель выделяет важные резюме системы, которые позволяют ей делать достаточно точные прогнозы. ## Значимость Наши результаты показывают, что LLMs могут выучивать физические законы в процессе обучения, что может быть использовано в различных областях, таких как прогнозирование динамики физических систем, моделирование реальных физических процессов или даже в области искусственного интеллекта в сфере робототехники и автоматизации. Это демонстрирует потенциал LLMs для переноса знаний из текста в реальные задачи, что может иметь большой потенциал в област