Memento: Fine-tuning LLM Agents without Fine-tuning LLMs

## Контекст Искусственный интеллект (ИИ), основанный на Больших Лингвистических Моделях (LLM), проявляет выдающиеся возможности в области обработки естественного языка. Однако, традиционные методы тренировки этих моделей требуют больших объемов вычислительных ресурсов и данных, что ограничивает их применение в ситуациях, требующих реакции на изменения в реальном времени. Более того, существующие подходы к адаптации LLMs, такие как методы fine-tuning, требуют не только высокой стоимости, но и создают возможность "застрять" в определенном состоянии, не включая реальное развитие. Данная работа формулирует новую модель обучения для LLM-агентов, которая предлагает эффективный и гибкий подход к обучению без необходимости в методе fine-tuning. ## Метод Предлагаемый подход, обозначенный как Memory-augmented Markov Decision Process (M-MDP), является новым парадигмой для адаптивных LLM-агентов. Он предлагает непрерывный процесс обучения с использованием нейронной системы вспомогательного памяти. Эта система кэширует информацию о прошлых опытах в виде нелинейной, оптимизированной структуры. Для возможности выбора действий используется оптимизированный политический механизм, который определяет, какие данные из памяти должны быть задействованы для решения задачи. Эта структура позволяет лишь частично обновлять память, не требуя пересчета всей модели, что делает процесс эффективным с точки зрения вычислительных затрат. ## Результаты Для проверки эффективности предлагаемого подхода, авторы внедрили его в систему Memento. Эксперименты проводились на двух основных наборах данных: GAIA и DeepResearcher. Результаты показали, что Memento достиг оценки Pass@3 на GAIA с процентом $87.88\%$, что является самой высокой результатом среди экспериментов. На данных DeepResearcher, Memento показал F1-меру $66.6\%$ и PM-меру $80.4\%$, превосходя существующие методы. Особенно заметны выигрыши в случае задач, которые требуют обучения вне диапазона исходных данных. Таким образом, новый подход предоставляет способ эффективного обучения LLM-агентов в сценариях, требующих регулярного обновления информации. ## Значимость Предлагаемый подход открывает новые возможности в применении LLM-агентов в сценариях, требующих решения задач в режиме реального времени. Он демонстрирует гибкость и эффективность, не требуя полной тренировки модели. Метод как раз и предлагает выход за рамки статических, трудоёмких и высокозатратных методов fine-tuning. Он имеет широкое применение в сценариях, где необходимо постоянное совершенствование, например,