Momentum Point-Perplexity Mechanics in Large Language Models

## Контекст В последние годы значительное внимание уделяется исследованию бо Lарге Ларнгуадж Моделс (LLM), которые стали основой для широкого спектра AI-приложений. Однако, несмотря на их мощь, эти модели часто трудно интерпретировать, что приводит к проблемам в управлении их поведением. Также имеются проблемы с аномалиями и неожиданными отклонениями в процессе обучения и использования. Необходимо развить принципиальные подходы, которые позволяют оценивать и контролировать поведение LLMs. Одним из таких подходов является ретроспективное понимание генерации текста, аналогичное физическим законам в динамических системах. Это возможно только в случае понимания того, как меняются внутренние состояния моделей на каждом шаге инференса. Таким образом, мотивируется разработка моделей, позволяющих описывать и контролировать поведение LLMs, чтобы улучшить их прозрачность и контролируемость. ## Метод В статье предлагается физико-механический подход к рассмотрению внутренних состояний LLMs. Для этого используется концепция "энергии", которая сопоставляется с изменением внутренних hidden states в процессе инференса. Рассматривается количество, основанное на скорости изменения hidden states и на next-token certainty (вероятности выбора следующего токена). Этот показатель аналогичен енергии в физике и остается почти постоянным во время работы моделей. Для исследования проводятся эксперименты с 20 LLMs различных размеров (от 135M до 3B параметров). Для управления и уменьшения аномалий предлагается метод Jacobian steering, который изменяет hidden states в минимально необходимых объемах, чтобы поддерживать постоянную "энергию" и решать задачи наиболее точно возможно. ## Результаты В ходе экспериментов были проанализированы 20 LLMs с разными параметрами. Найдено, что для необученных моделей (random-weight), энергия сохраняется более строго, чем для предобученных. Тренировка LLMs приводит к изменению режима работы: они становятся быстрее и более решательны, однако в то же время увеличивается их вариабельность. Используя метод Jacobian steering, удалось значительно снизить аномалии и повысить семантическую качество генерируемых текстов. Эти результаты подтверждены эмпирическими вычислительными экспериментами, основываясь на данных с открытого доступа. ## Значимость Результаты статьи имеют широкую потенциальную значимость в области глубокого обучения и искусственного интеллекта. Метод Jacobian steering может быть применен для улучшения контроля и прозрачности LLMs, что особенно важно в задачах, требующих точного управления моделями, например, в области безопасности и моральных вопросов. Благодаря этому подходу можно повыси