MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

## Контекст Роботическая манипуляция является ключевым заданием в области искусственного интеллекта и робототехники, особенно при выполнении сложных, непрерывных задач. Такие задачи часто требуют учета временного контекста и зависимости от прошлого, что ставит перед моделями Vision-Language-Action (VLA) трудности в обработке немарковских ситуаций. Несмотря на прогресс в области VLA-моделей, текущие подходы либо не учитывают временного контекста, либо слабо справляются с задачами, требующими длительного горизонта времени. Это приводит к ошибкам в выборе действий и нехватке семантического понимания. Существует необходимость в моделях, которые могут эффективно учитывать временный контекст, основываясь на предметных данных и сигналах. Наша модель MemoryVLA предлагает решение для этих проблем, используя идеи из когнитивной науки о рабочей памяти и эпизодической памяти. ## Метод MemoryVLA — это перспективное Cognition-Memory-Action фреймворк, использующее pretrained Vision-Language Model (VLM) для преобразования входных данных в perceptual и cognitive tokens. Эти токены формируют рабочую память, хранящую релевантные для задачи сигналы. Для решения проблем, связанных с длительным горизонтом, мы вводим Perceptual-Cognitive Memory Bank, которая способна хранить и обрабатывать как низкоуровневые детали, так и высокоуровневые семантические сведения. Working memory адаптивно извлекает и объединяет токены из Memory Bank, чтобы обеспечить лучшие решения. Для генерации действий мы вводим Memory-Conditioned Diffusion Action Expert, предсказывающий долгосрочные последовательности действий. Этот подход позволяет MemoryVLA принимать решения с учетом временного контекста. ## Результаты Мы оценили MemoryVLA на более чем 150 симуляционных и реальных задачах, используя три разных робота. На SimplerEnv-Bridge, Fractal и LIBERO-5 она показала 71.9%, 72.7% и 96.5% успеха соответственно, превзойдя состояние технологии CogACT и pi-0 с приростом +14.6. Также были проведены 12 реальных экспериментов, где MemoryVLA достигла 84.0% успеха, показав прирост +26 в задачах с длительным горизонтом времени в сравнении с CogACT. Наши результаты показывают, что MemoryVLA не только выполняет задачи с высокой точностью, но и демонстрирует значительный прогресс в обработке сложных задач, требующих учета временного развития. ## Значимость MemoryVLA может быть применена в различных сферах, где требуется высокая точность в манипуляциях и учет временных зависимостей. Это включает в себя медицину, промышленность, а также домашние и офисные роботы. Метод предлагает значительные преимущества, такие как уменьшение ошибок, повышение эффективности и более естественное взаимодействие с окружением. Это может привести