Automated Facility Enumeration for Building Compliance Checking using Door Detection and Large Language Models

## Контекст Обеспечение соответствия нормативным требованиям зданий и сооружений (Building Compliance Checking, BCC) является важной задачей для гарантии безопасности, эффективности и соответствия построек законодательным стандартам. Одним из ключевых аспектов BCC является точная энумерация фасадов и их распределения в помещениях. Несмотря на его критическую роль, данная проблема до сих пор остается недостаточно исследована, что создает существенные сложности для автоматизации процесса BCC. Ручная энумерация требует много времени и труда, что делает ее неэффективной. Новые возможности, предоставляемые Large Language Models (LLMs), открывают путь к улучшению автоматизации этой задачи, объединяя возможности визуального распознавания и разума. Мы предлагаем новую задачу BCC — автоматизированная энумерация фасадов, которая заключается в проверке количества каждого типа фасадов на соответствие законодательным требованиям. Для решения этой задачи мы предлагаем метод, комбинирующий детектирование дверей с LLM-based обработкой запросов, чтобы повысить точность и универсальность решения. ## Метод Мы предлагаем новое решение для автоматизированной энумерации фасадов в рамках процесса BCC. Метод основывается на двух основных компонентах: детектировании дверей и использовании LLM. В первом этапе, мы используем компьютерное зрение для точного обнаружения дверей на планах зданий. Это позволяет определить входы и выходы в каждой комнате. Во втором этапе, мы применяем LLM для осмысления входных данных и генерации описания распределения фасадов. Для повышения точности и универсальности, мы применяем Chain-of-Thought (CoT) pipeline, которая позволяет LLM проводить логический анализ и делать более точные выводы. Мы ставим целью обеспечить общую обработку различных типов фасадов и адаптацию к разным данным, включая реальные и синтетические планы. ## Результаты Мы провели эксперименты с использованием реальных и синтетических данных планов зданий, чтобы проверить эффективность нашего подхода. Для тренировки и тестирования мы использовали различные датасеты с разными типами фасадов и распределениями. Результаты показали, что метод обеспечивает высокую точность и общую универсальность. Мы сравнили нашу реализацию с другими подходами и показали, что наш подход превосходит другие методы по метрикам точности и универсальности. Эксперименты показали, что наш метод не только эффективен, но и может быть легко адаптирован к разным условиям и задачам в области BCC. ## Значимость Метод, представленный в нашей работе, имеет большое значение для различных областей, включая проектировани