Objectness Similarity: Capturing Object-Level Fidelity in 3D Scene Evaluation

## Контекст Оценка качества 3D-сцен — ключевой вопрос в области компьютерного зрения и информационных технологий. Основные метрики, такие как PSNR, SSIM и LPIPS, ориентированы на общую картину или изображение в целом, не учитывая фундаментальную структуру 3D-сцены, состоящую из отдельных объектов. Это приводит к расхождениям с оценками человеческого зрения. Нейропсихологические исследования подтверждают, что люди при оценке 3D-сцен привлекают внимание к отдельным объектам, а не к сцене в целом. Это свойство не учитывают существующие метрики. Необходимо разработать метод, который бы отражал объектный аспект представления 3D-сцен, чтобы лучше соответствовать человеческому восприятию. ## Метод Мы предлагаем **Objectness Similarity (OSIM)** — новую метрику для оценки 3D-сцен, которая фокусируется на отдельных объектах в сцене. OSIM использует модель обнаружения объектов для вычисления "objectness" каждого отдельного объекта в сцене. "Objectness" определяется как вероятность того, что часть сцены относится к определенному объекту. Мы используем концепции из модели Kohonen Self-Organizing Maps (SOM) для построения базисных объектов и выделения каждого отдельного объекта в сцене. Эта архитектура позволяет выделить связь между частями сцены и объектами, чтобы получить более точную оценку "objectness". ## Результаты Мы провели эксперименты на наборе данных ShapeNet, используя ряд существующих метрик и OSIM. Результаты показали, что OSIM выдает более точные оценки по сравнению с остальными метриками, особенно в ситуациях, когда важно сохранять целостность объектов в сцене. Мы также провели пользовательский испытательный цикл, в котором участники оценивали качество сцен на основе их "objectness". Обнаружено, что результаты пользователей лучше согласуются с оценками OSIM, чем с другими метриками. Это показывает, что OSIM более естественно соответствует человеческому восприятию. ## Значимость Метрика OSIM может быть применена в сферах, требующих точной оценки 3D-сцен, таких как генерация 3D-сцен, реконструкция, виртуальная реальность и имитация человеческого восприятия. OSIM обеспечивает более точное отображение человеческих ощущений при оценке 3D-сцен, что может улучшить результаты в области машинного зрения и интеллектуальных систем. Этот подход может привести к более точному пониманию и интерактивности с 3D-сценами в приложениях, таких как виртуальная и аugmented реальность. ## Выводы Разработанная метрика OSIM представляет собой новую точку зрения на оценку качества 3D-сцен, сосредоточенную на объектах. Наши эксперименты показали, что OSIM более точно соо