Bounding Distributional Shifts in World Modeling through Novelty Detection

#### Контекст В последние годы мировые модели (world models), построенные на базе глубоких нейронных сетей, приобрели важное место в области управления и планирования движения для роботов. Эти модели позволяют предсказывать динамику среды и сделать прогнозируемым поведение системы в реальном времени. Однако существуют значительные проблемы, связанные с устойчивостью и дивергенцией, возникающими из-за спектральных и распределительных отклонений во время оптимизации. Эти проблемы сильно влияют на качество мировой модели во время инференции. Наша мотивация заключается в создании метода, улучшающего устойчивость и точность мировых моделей, даже при неполном данных во время обучения. #### Метод Для решения указанных проблем мы предлагаем использовать **variational autoencoder (VAE)** в качестве детектора необычностей (novelty detector). Эта модель распознает отклонения в траектории действий от тех, которые были применены во время обучения. Мировая модель, основанная на VAE, проверяет предлагаемые траектории действий на соответствие тренировочному дистрибутиву. Если отклонение выявляется, траектория отклоняется, чтобы избежать дивергенции модели. Мы также используем архитектуру **DINO-WM**, которая уже успешно применяется в моделировании мировых пространств для роботов. #### Результаты Мы провели эксперименты в симулированных средах с роботом, где требовалась сложность планирования и высокая точность моделирования. Мировая модель, расширенная VAE-детектором, показала существенное улучшение в данной области по сравнению с традиционными алгоритмами. Мы измерили **data efficiency** и **plan quality**, получив результаты, свидетельствующие о значительной улучшении в производительности и надежности. Также мы проводили сравнительные эксперименты с другими современными методами, подтверждая выигрыш в области данных и системных ресурсов. #### Значимость Предлагаемый подход к детектированию необычностей в мировых моделях может быть применен в различных областях, где важно обеспечивать работу моделей в условиях неполного данных или изменчивости среды. Например, в области машинного зрения, робототехники, и системах самовосстановления. Основное преимущество — улучшение устойчивости и эффективности моделирования в различных условиях. Это может способствовать более точному и надежному решению задач в условиях неопределенности, таких как ограниченные данные во время выполнения. #### Выводы В данной работе мы предложили новый подход к обеспечению устойчивости мировых моделей с помощью VAE-детектора. Мы показали, что наше решение улучшает качество и эффективность планирования в симулированных сре