Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

## Контекст Видеоредактирование является важной областью исследований в современной компьютерной графике и визуальных эффектах. Несмотря на то, что существуют методы, позволяющие достигать привлекательных результатов в области стилизации и изменения внешнего вида, редактирование структурного содержания 3D-сцен в видео остается вызовом. Это особенно актуально при значительных преобразованиях матрицы, таких как вращения камеры или изменения масштаба. Основные трудности включают генерацию реалистичного содержимого новых видов, сохранение неизмененных областей и преобразование спарсевых 2D-входных данных в реалистичные 3D-видео. Изучение этих проблем имеет решающее значение для расширения возможностей видеоредактирования и повышения его точности и эффективности. ## Метод Мы предлагаем Sketch3DVE — метод редактирования 3D-сцен в видео, основанный на рисовании схемы (sketch-based). Данный подход обеспечивает точный контроль геометрии видео. Мы используем методы редактирования изображений для генерации результатов на первом кадре видео, которые затем распространяются на все остальные. Чтобы обеспечить редактирование в различных точках зрения, мы проводим подробный анализ 3D-информации в видео. Для этого мы применяем метод стерайо стерео для оценки точечной сети и параметров камеры входного видео. Для редактирования точечной сети мы предлагаем подход, основанный на глубинных картах, который эффективно выравнивает новые редактируемые компоненты с оригинальной 3D-сценой. Для слияния редактируемого контента с оригинальным видео мы предлагаем стратегию распространения 3D-масок и используем модель размывания видео для получения реалистичных результатов. ## Результаты Мы провести обширные эксперименты, чтобы продемонстрировать эффективность Sketch3DVE в редактировании видео. Наши тесты показали, что метод позволяет достигать высокого качества редактирования, даже при существенных преобразованиях матрицы. Мы использовали различные данные, включая видео с значительными изменениями матрицы, для оценки наших результатов. Наши результаты показали, что Sketch3DVE превосходит существующие методы в способности генерировать реалистичные 3D-видео и сохранять неизмененные области сцены. ## Значимость Метод Sketch3DVE открывает новые возможности в области видеоредактирования, особенно для сцен с значительными преобразованиями матрицы. Его применение может быть полезно в различных областях, таких как кино, реклама и виртуальная реальность. Ключевые преимущества включают точный контроль геометрии, эффективное использование сп