Efficient and Privacy-Protecting Background Removal for 2D Video Streaming using iPhone 15 Pro Max LiDAR

#### Контекст Light Detection and Ranging (LiDAR) — это технология, ранее применявшаяся в промышленных системах, но недавно вошла в повседневные приложения с помощью потребительских устройств, таких как iPhone 15 Pro Max. Одной из областей применения является фотография и видео, где LiDAR обеспечивает эффективное и точное разделение предметов от фона. Традиционные методы, такие как chroma keying или обученные модели ИИ, часто требуют дополнительных ресурсов или имеют ограничения в условиях низкого освещения. LiDAR, в свою очередь, основывается на измерении глубины пространства, что делает его независимым от цветовых характеристик и освещения. Мотивацией исследования является расширение возможностей LiDAR для реализации реального времени в 2D-видеопотоках без качественных потерь. #### Метод В статье рассматривается интеграция LiDAR с цветовой камерой iPhone 15 Pro Max для реализации технологии разделения фона. Использованы SwiftUI и Swift для разработки пользовательского интерфейса, Metal Shader Language (MSL) для реализации GPU-оптимизированных алгоритмов реального времени. Модель обработки изображений работает на стандартной частоте кадров 60 FPS. Ограничения заключаются в том, что данные глубины текут с меньшей частотой (320x240), чем цветовые кадры, и что некоторые материалы могут отражаться неточно. Эти ограничения были обоснованы в рамках бюджетных технологий пассивного Измерения Глубины (Passive Depth Sensing). #### Результаты Исследования проводились с использованием iPhone 15 Pro Max в сценах с разным освещением. Результаты показали, что LiDAR эффективно работает в любых условиях, включая низкоконтрастные и низкоосвещенные сцены. Фоновый режект производился с высокой точностью, что демонстрирует преимущества этого подхода. Однако решение чувствительно к материалам, отражающим Инфракрасное излучение LiDAR. Например, стекло и пластик могут вызывать неточности в глубинных картах. #### Значимость Области применения включают широкий спектр технических задач, начиная от живого видеопотока и до пост-продакшн-фотографии. Технология обеспечивает высокую точность и быстроту, а также независимость от световых условий. Ее потенциал включает экономию ресурсов в отличие от AI-моделей, а также повышение удобства в использовании, так как не требует дополнительных оборудований для качественного светового освещения. #### Выводы Метод, описанный в статье, доказывает высокую эффективность и потенциал мобильных технологий в области разделения фона. Направления будущих исследований включают улучшение резолюции глубинных карт LiDAR до соответствия цветовым кадрам, а также развитие м