Gaussian Alignment for Relative Camera Pose Estimation via Single-View Reconstruction

## Контекст Оценка относительного положения камеры в пространстве является ключевым вопросом в области 3D-реконструкции и локализации. Традиционные методы двух-видовой оценки положения камеры не учитывают метрические расстояния, ограничиваясь получением только масштаба перемещения камеры. Это препятствует решению задач, требующих точных метрических оценок, в случаях широких базисных расстояний, текстурно-дефицитных и отражательных поверхностей. Данная работа адресует эти сложности, предлагая новый подход, основанный на использовании подхода "вид из одной точки" (single-view reconstruction) в сочетании с геометрической оценкой положения. ## Метод Разработанная методика GARPS (Gaussian Alignment for Relative Pose Estimation) представляет собой новую архитектуру, которая использует метрическую модель глубины и методы реконструкции сцены на основе гауссовских моделей. Основной механизм состоит в том, чтобы воссоздать трёхмерную модель каждого кадра используя модель глубины и оценить относительное положение камеры через выравнивание этих трёхмерных моделей. Для того, чтобы повысить точность, алгоритм GARPS использует не только геометрическую информацию, но и консистентность цветовых признаков и семантических особенностей. Метод является тренировочно-свободным, что делает его универсальным и гибким. ## Результаты Исследования проводились на датасете Real-Estate10K, который представляет собой несколько тысяч сцен, включая различные условия съемки. Результаты показали, что GARPS превосходит общую эффективность и точность как классических, так и современных методов оценки относительного положения камеры. Особое внимание в тестах уделено обработке широких базисных расстояний и текстурно-дефицитных областей, где остальные методы часто страдают от погрешности. ## Значимость Разработанный подход имеет широкие перспективы применения в 3D-реконструкции, локализации и системах видеонаблюдения. Он отличается высокой точностью и универсальностью, поскольку не требует предварительного обучения и может обрабатывать даже трудные случаи, такие как отражательные и текстурно-дефицитные поверхности. Данный подход может стать основой для следующих исследований в области многовидовой геометрии и глубокого обучения. ## Выводы Результаты экспериментов подтверждают эффективность нового подхода GARPS в точной оценке относительных положений камер. Этот подход открывает новые горизонты для применения глубокого обучения в сложных сценах, где существуют ограничения по текстуре и базису. Будущими направлениями исследований могут стать улучшения реконструкци