Self-evolved Imitation Learning in Simulated World

################################# ## Контекст ################################# Imitation learning, как метод обучения моделей, набирает обороты в современных искусственных интеллектах. Он заключается в том, чтобы подражать поведению эксперта в задачах, которые могут быть сложно выразить через подробные модели. Однако, обучение общих агентов, способных решать разнообразные задачи, часто требует больших массивов экспертных демонстраций. Эти демонстрации трудоёмки в сборе, дороги в поддержании и, возможно, ограничены в количестве. Для решения проблемы ограниченной супервайзированной информации предлагается Self-Evolved Imitation Learning (SEIL) — фреймворк, позволяющий улучшать модель с помощью имитационного обучения в симуляторе. ################################# ## Метод ################################# SEIL — это уникальный подход к обучению модели с малой супервайзированной информацией. Он включает несколько ключевых технических компонентов: 1. **Прогрессивное обучение**: Модель начинает решать задачи в симуляторе, где собираются успешные траектории. Эти траектории используются для последовательного уточнения модели. 2. **Двойное увеличение демонстрационной выборки**: - **Модельный уровень**: EMA-модель (Exponential Moving Average) генерирует дополнительные демонстрации, расширяя диапазон поведения. - **Среды уровень**: Механизм, внедряющий небольшие изменения в начальных положениями объектов, увеличивает разнообразие демонстраций. 3. **Селектор показателей**: Использование легковесного селектора, который отбирает траектории, дополняющие и достаточно релевантные для базы данных. Эти методы обеспечивают эффективное и качественное обучение, даже при небольших объёмах данных. ################################# ## Результаты ################################# Эксперименты проводились на бенчмарке LIBERO, где SEIL показал новую планку по эффективности в сценариях с малой супервайзированной информацией. Он достиг высокой точности с меньшим числом обучающих примеров по сравнению с соревнователями. Ключевые результаты: - Значительное улучшение в задачах, требующих малой супервайзированной информации. - Увеличение разнообразия демонстрационных данных благодаря использованию EMA-модели и среды изменений. - Улучшенная структура селектора, обеспечивающая качественную выборку демонстрационных данных. Код доступен на GitHub: https://github.com/Jasper-aaa/SEIL.git. ################################# ## Значимость ################################# SEIL открывает новые перспективы в области малосупервайзированного обучения. Его применения могут распространиться на разнообразные задачи, где экспертные данные сложно получить, вроде: - Научных моделей, где обучение требует дорогих и сложных экспериментов. - Реальных ситуациях, таких как управление робота