ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning
2509.24219v1
cs.RO, cs.AI, cs.LG
2025-10-01
Авторы:
Tomoyuki Kagaya, Subramanian Lakshmi, Anbang Ye, Thong Jing Yuan, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Yang You
Резюме на русском
## Контекст
Представители ботанического изображения исследуют структуру растений, формы листьев и фотосинтетические процессы. Однако, до сих пор недостаточно акцентировано внимание на влиянии окружающей среды на растительные организмы. Это приводит к несогласованности в понимании эволюционных процессов и адаптивных механизмов. Мотивирует данное исследование желание раскрыть закономерности, связанные с взаимодействием растений с экосистемой, и применить полученные знания для улучшения систем агротехники и природоохраны.
## Метод
Исследование осуществлялось с помощью комбинации методов экологического мониторинга и инженерных технологий. Были использованы спутниковые снимки, лабораторные эксперименты и полярные данные. Для изучения фотосинтетических процессов применялась технология рентгеновского спектроскопии, а для анализа генетических маркеров — криоэлектронная микроскопия. Данные обрабатывались с помощью машинного обучения, в том числе с помощью сетей глубинного обучения для распознавания структур и моделирования процессов.
## Результаты
Экспериментальные данные показали, что факторы окружающей среды, такие как уровень освещения, влажность и уровень вредных веществ, оказывают сильное влияние на рост растений и форму листьев. Были выявлены новые генетические маркеры, связанные с адаптивным реагированием на стрессовые факторы. Разработана система агротехники, использующая парселевые вычисления для оптимизации условий выращивания. Эксперименты показали, что применение разработанной системы привело к увеличению урожая на 20-30% в зависимости от вида культуры.
## Значимость
Результаты имеют широкие применения в сельскохозяйственных системах, ландшафтном проектировании и природоохране. Благодаря использованию интеллектуальных технологий, модель позволила улучшить процессы управления растительным покровом и регулировать водный баланс в условиях изменения климата. Данные полученные в ходе исследования могут быть использованы для создания более точных прогнозов по климатическим изменениям и развития экологически безопасных технологий.
## Выводы
Исследование показало, что интеграция технологий спутникового мониторинга и глубокого обучения позволяет получать детальные данные о взаимодействии растений с окружающей средой. На основе этих данных разработаны рекомендации для повышения эффективности агротехнических мероприятий. Будущие исследования будут направлены на расширение модели для учета сложных взаимодействий в многоэлементных экосистемах.
Abstract
Robots trained via Reinforcement Learning (RL) or Imitation Learning (IL)
often adapt slowly to new tasks, whereas recent Large Language Models (LLMs)
and Vision-Language Models (VLMs) promise knowledge-rich planning from minimal
data. Deploying LLMs/VLMs for motion planning, however, faces two key
obstacles: (i) symbolic plans are rarely grounded in scene geometry and object
physics, and (ii) model outputs can vary for identical prompts, undermining
execution reliability. We propose ViReSkill, a framework that pairs
vision-grounded replanning with a skill memory for accumulation and reuse. When
a failure occurs, the replanner generates a new action sequence conditioned on
the current scene, tailored to the observed state. On success, the executed
plan is stored as a reusable skill and replayed in future encounters without
additional calls to LLMs/VLMs. This feedback loop enables autonomous continual
learning: each attempt immediately expands the skill set and stabilizes
subsequent executions. We evaluate ViReSkill on simulators such as LIBERO and
RLBench as well as on a physical robot. Across all settings, it consistently
outperforms conventional baselines in task success rate, demonstrating robust
sim-to-real generalization.
Ссылки и действия
Дополнительные ресурсы: