OmniShape: Zero-Shot Multi-Hypothesis Shape and Pose Estimation in the Real World

Оценивание полной формы и положения объектов на основе единственного наблюдения — это сложная задача в реальном мире, особенно когда неизвестен 3D-модель или категория объекта. В статье предлагается OmniShape, первая методика, позволяющая выполнять нулевой-слотное оценивание положения и полной формы объекта. OmniShape основывается на осознании, что завершение формы может рассматриваться как двухмодальные распределения: одно следует из проекций на стандартный ссылочный референс объектов в наборе, а другое — из предшествующего распределения объектных геометрий, описываемых трипланарными нейронными полями. Отдельной условными диффузионными моделями обучаются обе эти многомодальные распределения, что позволяет использовать вероятностные модели для генерации множества гипотез по положению и форме. Эксперименты показывают, что OmniShape выдает высокую точность при оценке реальных данных. Это решение наделяет методов новыми возможностями внедрения в реальные приложения.