Многие перспективные применения роботов-купальщиков в сложных пространственных средах зависят от качественных панорамных видео, необходимых для обучения моделей визуального понимания. Однако данные для подобных задач сложно получить из-за ограничений кинематики робота и сложностей калибровки датчиков. Мы предлагаем QuaDreamer — первую систему, специально разработанную для генерации панорамных видеороликов, контролируемых в зависимости от движения робота-купальщика. Решение основывается на инновационной Vertical Jitter Encoding (VJE), фильтрующей контролируемые вертикальные колебания в ходе движения, и Scene-Object Controller (SOC), управляющем объектными движениями и контролем шума в фоновой части. Для улучшения качества полученных панорамных видео мы ввели Panoramic Enhancer (PE), который решает проблему дисторсий в широком поле зрения и обеспечивает глобальную геометрическую консистентность. Таким образом, QuaDreamer создает высококачественные панорамные видео, которые могут использоваться для обучения моделей визуального понимания, в частности для повышения эффективности трекинга объектов в 360-градусовой среде.

Данные по декстерой граспировки являются ключевыми для развития интеллектуальных систем, однако подавляющее большинство таких датасетов фокусируются на стабильности граспировки, пренебрегая функциональными граспами, необходимыми для выполнения конкретных задач, например, открытия бутылочных крышек или держания ручек чашки. Большинство таких датасетов также ограничены в использовании дорогостоящих и сложно управляемых ручных систем с большим числом степеней свободы. Работающий на основе биомиметизма, UniFucGrasp предлагает новую стратегию аннотации функциональных граспировок, которая позволяет адаптировать движения человеческой руки к различным типам робототехнических рук. Используя метод геометрического клапанового замыкания, данная модель обеспечивает функциональную и устойчивую граспировку, аналогичную человеческим движениям. Также был создан первый многоручный датасет функциональных граспировок. Эксперименты показали, что UniFucGrasp улучшает точность манипуляций, увеличивает устойчивость граспировок и обеспечивает эффективное общеупотребительность на различных робототехнических руках, решая проблемы стоимости аннотации и проблему общеупотребительности в декстерой граспировке.