Building Self-Evolving Agents via Experience-Driven Lifelong Learning: A Framework and Benchmark

## Контекст Современные искусственные интеллекты (ИИ) становятся все более мощными в решении статических задач, однако ограничены в способности к продолжительному обучению и адаптации в динамичном мире. Это ограничение приводит к интенсивным исследованиям в области жизненного обучения (lifelong learning, LL), где целью является создание саморазвивающихся агентов, способных продолжительного развития в реальном мире. Несмотря на развитие техник LL, недостаточность текущих подходов в области создания агентов с продолжительным знанием, способных применять полученные умения в разнообразных контекстах, вызывает огромный интерес к развитию более развитых фреймворков и бенчмарков. ## Метод Мы предлагаем Experience-driven Lifelong Learning (ELL) — расширенный фреймворк для создания саморазвивающихся агентов. Основанный на четырех основных принципах, ELL оптимизирует процесс обучения в динамичных средах: 1. **Experience Exploration**: Агенты активно исследуют среду, выявляют зависимости между задачами и строят траектории интерпретируемых опытов. 2. **Long-term Memory**: Агенты сохраняют и структурируют исторический опыт в персистентной памяти, включающей как персональные опыты, так и доменные знания. 3. **Skill Learning**: Агенты абстрагируют рекуррентные модели из опыта, активно рефинеют и валидируют их в новых задачах. 4. **Knowledge Internalization**: Агенты превращают экспериментальные опыты в неявные способности, доступные для быстрого использования в разных условиях. Мы также представляем StuLife, бенчмарк для ELL, который основывается на симуляции жизненного пути студента, структурированного по трем главным парадигмам: от противостояния пассивности к проактивности, от контекста к памяти, и от имитации к настоящему обучению. В этой модели агенты должны приобретать практические умения, поддерживать хронологию и принимать решения в условиях меняющегося мира. ## Результаты Мы провели эксперименты с StuLife, рассматривая данные о жизненном пути студента и экспериментируя с различными моделями жизненного обучения. Результаты показали, что модели, основанные на ELL, показывают выдающиеся результаты в области сохранения памяти, передачи умений и самостоятельного развития. Мы также оценили StuLife с использованием современных моделей LL, что позволило изучить значительный уровень прогресса в области жизненного обучения. ## Значимость ELL может применяться в различных сферах, включая социальные сети, машинное обучение, а также развитие роботов и систем самоуправления. Его особенностью является способность создавать агенты, которые не только решают задачи, но и приобретают умения в процессе адаптации к обнов