Deep Learning-based Scalable Image-to-3D Facade Parser for Generating Thermal 3D Building Models

## КОНТЕКСТ И ПРОБЛЕМАТИКА Реновация существующих зданий является ключевой задачей в борьбе с климатическими изменениями. Для оптимального планирования реставрации на ранней стадии необходимы точные термические 3D-модели зданий, которые должны быть представлены на уровне детализации (LoD) 3. Такие модели должны включать важные элементы, такие как окна, чтобы обеспечить точные симуляции энергоэффективности. Однако создание таких моделей представляет собой сложную задачу, особенно когда речь идет о масштабируемости и точности определения таких элементов. Существующие подходы часто основываются на сегментации изображений и последующем проецировании геометрических данных, но эти методы могут страдать от перспективных искажений и недостаточной точности. Кроме того, многие существующие решения не могут эффективно обрабатывать различные типы данных, такие как изображения из Google Street View или фотографии, сделанные ручным способом. Это создает значительные ограничения для применения в реальных условиях, особенно когда речь идет о масштабировании процессов реставрации и планирования. Таким образом, существует актуальная потребность в разработке методологии, которая могла бы обеспечить точное и масштабируемое создание 3D-моделей зданий, основываясь на изображениях различных источников. Такой подход должен уменьшить ошибки, связанные с перспективными искажениями, и обеспечить высокую точность для применения в ранних стадиях планирования реставрации. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной статье представлен метод Scalable Image-to-3D Facade Parser (SI3FP), который предназначен для генерации термических 3D-моделей зданий на уровне LoD 3. Основная инновационность этого подхода заключается в том, что он непосредственно моделирует геометрические примитивы (такие как окна) в ортогональной плоскости изображения, что позволяет избежать перспективных искажений, характерных для традиционных методов. SI3FP использует сочетание компьютерного зрения и техник глубокого обучения для извлечения геометрии из изображений. Этот подход обеспечивает единый интерфейс для обработки различных типов данных, включая разреженные данные (например, изображения из Google Street View) и плотные данные (например, фотографии, сделанные с ручным камерой). Это позволяет обрабатывать данные из различных источников, что значительно расширяет применимость метода. Архитектура SI3FP основывается на нейронных сетях, которые обучены распознавать и извлекать геометрические формы из изображений. Особенностью этого метода является то, что он не зависит от конкретного типа данных и может быть применен к различным источникам изображений. Это позволяет создавать 3D-модели с высокой точностью, которые могут быть использованы для раннего планирования реставрации и улучшения энергоэффективности зданий. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для проверки эффективности метода были проведены эксперименты на данных, полученных из типичных шведских жилых зданий. Эти данные включали изображения различных типов, в том числе изображения из Google Street View и фотографии, сделанные ручным способом. Результаты экспериментов показали, что SI3FP достигает примерно 5% ошибки при оценке отношения площади окон к площади стен (window-to-wall ratio). Эта точность достаточна для раннего планирования реставрации и позволяет использовать полученные модели для энергетических симуляций. Кроме того, метод показал высокую стабильность и точность при обработке различных типов данных, что демонстрирует его применимость в реальных условиях. Эксперименты также показали, что SI3FP может эффективно обрабатывать данные из различных источников, что делает его универсальным инструментом для масштабирования процессов реставрации и улучшения энергоэффективности. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ SI3FP имеет широкое применение в области энергетической реставрации и планирования. Благодаря точности и масштабируемости метода, он может быть использован для создания термических 3D-моделей зданий, которые необходимы для раннего этапа планирования реставрации. Это позволяет оптимизировать процессы улучшения энергоэффективности и снижения эмиссий при реставрации существующих зданий. Кроме того, метод может быть применен в более широкой области, такой как урбанистическое планирование и развитие. Его способность обрабатывать различные типы данных делает его полезным инструментом для разработки и анализа городских пространств, что может быть использовано для создания более устойчивых и энергоэффективных городов. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В данной работе был представлен метод SI3FP, который позволяет создавать точные термические 3D-модели зданий на основе изображений различных источников. Этот метод обеспечивает высокую точность и масштабируемость, что делает его подходящим для применения в реальных условиях. В будущем планируется дальнейшее улучшение метода, в том числе расширение его возможностей для обработки более сложных типов данных и улучшение точности моделей. Также предполагается исследование дополнительных приложений метода в области урбанистического планирования и развития.