VendiRL: A Framework for Self-Supervised Reinforcement Learning of Diversely Diverse Skills

## Контекст В самостоятельном управляемом обучении с подкреплением (Reinforcement Learning, RL) ключевым вызовом является развитие разнообразного набора умений, укрепляющих агента для будущих неизвестных задач. Несмотря на прогрессы в этой области, практические проблемы, такие как сложность поиска значимых умений в высокомерных пространствах признаков и непоследовательность методов оценки разнообразия умений, остаются актуальными. Выбор определения разнообразия умений может привести к несогласованности в понимании этой концепции, что затрудняет сравнение результатов различных подходов. Таким образом, целью данного исследования является развитие методологии, позволяющей избежать этих проблем и обеспечить эффективное развитие разнообразных умений в самостоятельной среде обучения. ## Метод Методология, предложенная в работе, основывается на применении метрики Vendi Score, которая переносит понятия из экологии в машинное обучение. Vendi Score позволяет гибко определять и оценивать различные формы разнообразия умений, отвечая индивидуальным потребностям и задачам. Фреймворк VendiRL является унифицированной структурой, основанной на Vendi Score, которая мотивирует различные подходы к развитию разнообразных умений. Эта структура позволяет использовать разные функции схожести, чтобы поддерживать различные формы разнообразия умений в интерактивных и богатых средах, где могут быть желательны разные виды разнообразия. Этот подход предлагает гибкую архитектуру, позволяющую адаптироваться к разным сценариям и задачам. ## Результаты В экспериментах были использованы различные задачи, где необходимо было развить разнообразные умения, например, в игровых средах или симуляциях. Метрика Vendi Score была применена для оценки разнообразия умений, полученных в результате обучения. Результаты показали, что VendiRL эффективно развивает разнообразные умения, а метрика Vendi Score дает гибкий инструмент для измерения разнообразия в зависимости от конкретных целей. Эксперименты подтвердили, что в различных средах и задачах, в зависимости от функции схожести, могут быть получены разные формы разнообразия, что позволяет гибко подстраиваться под разные требования. ## Значимость Выводы работы имеют значительное значение для развития самостоятельного обучения с подкреплением. VendiRL предоставляет универсальный фреймворк для развития разнообразных умений, который может быть применен в различных интерактивных средах. Он обеспечивает гибкость в определении и измерении разнообразия умений, что может способствовать улучшению предварительного обучения в различных задачах. Будущие исследования могут фокусироваться на