DINOv3-Diffusion Policy: Self-Supervised Large Visual Model for Visuomotor Diffusion Policy Learning

## Контекст В последние годы визуальные системы, основанные на нейронных сетях, набирают все большую популярность в области робототехники, особенно в зоне визуально-моторных политик. Одной из ключевых проблем является эффективность обучения таких моделей, когда доступ к традиционным супервизированным данным ограничен. Другой важный аспект — улучшение общей гибкости моделей в условиях неизвестных или нерегулярных сред. Работа статьи DINOv3-Diffusion Policy адресует эти проблемы, исследуя возможности pure-self-supervised одного из последних больших моделей — DINOv3 — в зоне visuomotor diffusion policy learning. ## Метод Методология работы основывается на использовании DINOv3 в качестве самостоятельного самосупервизируемого визуального моделирования. Авторы оценивают три аспекта эффективности: обучение с нуля, замороженный вес (frozen) и оптимизация тренировочного процесса (finetuning). Тесты проводятся на четырёх бенчмарк-задачах: "Push-T", "Lift", "Can" и "Square", которые закладываются в основу FiLM-conditioned diffusion policy. Для сравнения используется ResNet-18, традиционный модельный бизнес для таких задач. В результате проводится анализ различных аспектов — точности, устойчивости, обучаемости. ## Результаты В результате экспериментов, реализованных в рамках работы, было показано, что DINOv3-Diffusion Policy демонстрирует высокую эффективность. Специально, "finetuned DINOv3" показал себя на уровне или выше ResNet-18 в задачах, которые требуют высокой точности, например, в задаче "Can". Также, заметное улучшение в обучаемости отмечено для self-supervised DINOv3 в задачах, где наличие многочисленных тренировочных данных ограничено. Это указывает на более высокий уровень гибкости и устойчивости, особенно если сравнивать с ResNet-18 с ImageNet-pretrained. ## Значимость Результаты работы имеют значительный потенциал в различных областях робототехники, включая визуально-моторные политики, роботов для полезных дел, и в области общей гибкости моделей с предварительным тренировком. Использование DINOv3-Diffusion Policy позволяет упростить процесс подготовки моделей в зоне визуального моделирования, уменьшить необходимость в масштабных супервизированных данных, и, таким образом, сделать робототехнические системы более доступными и эффективными. ## Выводы В итоге, работа DINOv3-Diffusion Policy демонстрирует значительные преимущества самостоятельно самосупервизируемых моделей в зоне визуально-моторного моделирования. Она позволяет улучшить обучаемость и устойчивость моделей, снизить необходимость в традиционных супервизированных данных, и улучшить общую гибкость. Будущие исследования могут сфокусироваться на расширении дан