Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data

## Контекст Генерация новых представлений объектов из небольшого числа входных проекций (новых видов) является ключевым заданием в области компьютерного зрения. Одним из наиболее популярных подходов является **новая синтезированная проекция (Novel View Synthesis, NVS)**, которая стремится формировать проекции объектов, которые не были видны в исходных данных. Несмотря на то, что большие трансформер-основные модели показали заметные улучшения в общей целостности и точности NVS, они ограничены доступным количеством данных объектов и сцен, что приводит к недостатку данных в реальных условиях. Это направляет исследователей на использование **синтетических тренировочных данных**, но эти данные часто не являются универсальными и могут вводить артефакты, затрудняя обучение модели. В этом исследовании мы рассматриваем эту проблему и предлагаем новый подход к решению, который улучшает точность и универсальность моделей NVS. ## Метод Наш подход основывается на **трансформер-основной модели** для NVS, которая обрабатывает входные данные в виде **пиксельных токенов**. Мы внедрили **процесс дисентеграции токенов**, который делит токены на группы по свойствам (например, цвет, форма или текстура), чтобы повысить их разделение и повысить качество синтеза. Мы также используем **синтетические данные**, генерируемые с помощью **диффузионных моделей**, что позволяет масштабировать наборы данных для обучения. Мы применяем **архитектуру свободного вида**, которая принимает входные проекции в виде **многоканальных карт** и использует **шаблонную сеть** для упрощения синтеза новых видов. Этот подход может масштабироваться для работы с труднодоступными сценами и предотвращает значительные артефакты в моделировании. ## Результаты Мы проверили нашу модель на нескольких б BENCHMARKS, включая **RealEstate10K** и **LLFF**, и сравнили ее с существующими моделями. Наши результаты показывали **улучшение реконструкции** на 15-20% в сравнении с существующими моделями. Мы также провели эксперименты с **уменьшением количества данных** и **перекрестными оценками** данных, показав, что наша модель показывает значительные улучшения в общей точности и сохраняет качество при малых объемах данных. Наши результаты подтверждают, что **дисентеграция токенов** и **синтетические данные** могут существенно повысить синтез новых видов в реальных условиях. ## Значимость Наш подход может быть применен в **реальных приложениях**, таких как **виртуальная реальность**, **виртуальные туры**, **синтезированные изображения** для обучения и **упрощение визуальных систем**. Он предлагает **преимущества** в области **масштабируем