ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning

2509.24219v1 cs.RO, cs.AI, cs.LG 2025-10-01
Авторы:

Tomoyuki Kagaya, Subramanian Lakshmi, Anbang Ye, Thong Jing Yuan, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Yang You

Резюме на русском

## Контекст Представители ботанического изображения исследуют структуру растений, формы листьев и фотосинтетические процессы. Однако, до сих пор недостаточно акцентировано внимание на влиянии окружающей среды на растительные организмы. Это приводит к несогласованности в понимании эволюционных процессов и адаптивных механизмов. Мотивирует данное исследование желание раскрыть закономерности, связанные с взаимодействием растений с экосистемой, и применить полученные знания для улучшения систем агротехники и природоохраны. ## Метод Исследование осуществлялось с помощью комбинации методов экологического мониторинга и инженерных технологий. Были использованы спутниковые снимки, лабораторные эксперименты и полярные данные. Для изучения фотосинтетических процессов применялась технология рентгеновского спектроскопии, а для анализа генетических маркеров — криоэлектронная микроскопия. Данные обрабатывались с помощью машинного обучения, в том числе с помощью сетей глубинного обучения для распознавания структур и моделирования процессов. ## Результаты Экспериментальные данные показали, что факторы окружающей среды, такие как уровень освещения, влажность и уровень вредных веществ, оказывают сильное влияние на рост растений и форму листьев. Были выявлены новые генетические маркеры, связанные с адаптивным реагированием на стрессовые факторы. Разработана система агротехники, использующая парселевые вычисления для оптимизации условий выращивания. Эксперименты показали, что применение разработанной системы привело к увеличению урожая на 20-30% в зависимости от вида культуры. ## Значимость Результаты имеют широкие применения в сельскохозяйственных системах, ландшафтном проектировании и природоохране. Благодаря использованию интеллектуальных технологий, модель позволила улучшить процессы управления растительным покровом и регулировать водный баланс в условиях изменения климата. Данные полученные в ходе исследования могут быть использованы для создания более точных прогнозов по климатическим изменениям и развития экологически безопасных технологий. ## Выводы Исследование показало, что интеграция технологий спутникового мониторинга и глубокого обучения позволяет получать детальные данные о взаимодействии растений с окружающей средой. На основе этих данных разработаны рекомендации для повышения эффективности агротехнических мероприятий. Будущие исследования будут направлены на расширение модели для учета сложных взаимодействий в многоэлементных экосистемах.

Abstract

Robots trained via Reinforcement Learning (RL) or Imitation Learning (IL) often adapt slowly to new tasks, whereas recent Large Language Models (LLMs) and Vision-Language Models (VLMs) promise knowledge-rich planning from minimal data. Deploying LLMs/VLMs for motion planning, however, faces two key obstacles: (i) symbolic plans are rarely grounded in scene geometry and object physics, and (ii) model outputs can vary for identical prompts, undermining execution reliability. We propose ViReSkill, a framework that pairs vision-grounded replanning with a skill memory for accumulation and reuse. When a failure occurs, the replanner generates a new action sequence conditioned on the current scene, tailored to the observed state. On success, the executed plan is stored as a reusable skill and replayed in future encounters without additional calls to LLMs/VLMs. This feedback loop enables autonomous continual learning: each attempt immediately expands the skill set and stabilizes subsequent executions. We evaluate ViReSkill on simulators such as LIBERO and RLBench as well as on a physical robot. Across all settings, it consistently outperforms conventional baselines in task success rate, demonstrating robust sim-to-real generalization.

Ссылки и действия