DeGuV: Depth-Guided Visual Reinforcement Learning for Generalization and Interpretability in Manipulation

#### Контекст Область исследований включает в себя развитие алгоритмов и методов для обеспечения генерализации и интерпретируемости визуальных моделей в системах программирования на основе визуальных входных данных. Особенно актуальным этот вопрос является в рамках робототехники, где системы должны решать задачи в новых средах с минимальным обучением. На сегодняшний день существуют проблемы с обеспечением общейтины и устойчивости визуальных моделей в RL (Reinforcement Learning), так как обычные методы обучения часто терпят неудачи в новых условиях, не входящих в обучающую выборку. Это приводит к необходимости разработки систем, которые способны быстро адаптироваться и обеспечивать прозрачность в своих решениях. #### Метод Предлагаемый метод, DeGuV (Depth-Guided Visual Reinforcement Learning), основывается на использовании маскирования визуальных данных с помощью learnable masker network, который использует глубинные кадры (depth) для формирования маски, контролирующей внимание модели. Эта маска выделяет важные регионы в изображении, предотвращая распыление внимания на ненужные детали. Более того, в процессе обучения внедрена контрастная оценка для Q-значений, чтобы повысить стабильность и эффективность тренировки на разных исходных данных. Эта стратегия позволяет модели быстро адаптироваться к новым условиям и повысить уровень прозрачности в своих решениях. #### Результаты Результаты экспериментов проводились на RL-ViGen бенчмарке с использованием робота Franka Emika. Агент DeGuV показал выдающиеся результаты в zero-shot sim-to-real transfer, то есть в условиях перехода из симулятора в реальный мир без дополнительного обучения. Метод показал высокую устойчивость и эффективность в обучении, существенно превосходя существующие методы по общейтине и скорости обучения. Также DeGuV улучшил интерпретируемость решений за счет выделения важных областей визуальных данных, которые влияют на модель. #### Значимость Проанализированы возможные области применения DeGuV, в том числе в робототехнике, где требуется быстрая адаптация моделей в новых средах. Особенно значимы области, где необходима высокая генерализация и интерпретируемость моделей. Наиболее заметными преимуществами являются улучшенная устойчивость к новым условиям, быстрота обучения и повышенное внимание к ключевым регионам во входных данных. Будущй потенциал исследований заключается в расширении этого подхода на другие типы задач, в том числе не только в робототехнике, но также в различных трехмерных задачах с визуальными входом. #### Выводы Метод DeGuV достиг высоких результатов в области генерализации и инт