📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Jessica Kinnevan, Naifa Alqahtani, Toral Chauhan

#### Контекст Light Detection and Ranging (LiDAR) — это технология, ранее применявшаяся в промышленных системах, но недавно вошла в повседневные приложения с помощью потребительских устройств, таких как iPhone 15 Pro Max. Одной из областей применения является фотография и видео, где LiDAR обеспечивает эффективное и точное разделение предметов от фона. Традиционные методы, такие как chroma keying или обученные модели ИИ, часто требуют дополнительных ресурсов или имеют ограничения в условиях низкого освещения. LiDAR, в свою очередь, основывается на измерении глубины пространства, что делает его независимым от цветовых характеристик и освещения. Мотивацией исследования является расширение возможностей LiDAR для реализации реального времени в 2D-видеопотоках без качественных потерь. #### Метод В статье рассматривается интеграция LiDAR с цветовой камерой iPhone 15 Pro Max для реализации технологии разделения фона. Использованы SwiftUI и Swift для разработки пользовательского интерфейса, Metal Shader Language (MSL) для реализации GPU-оптимизированных алгоритмов реального времени. Модель обработки изображений работает на стандартной частоте кадров 60 FPS. Ограничения заключаются в том, что данные глубины текут с меньшей частотой (320x240), чем цветовые кадры, и что некоторые материалы могут отражаться неточно. Эти ограничения были обоснованы в рамках бюджетных технологий пассивного Измерения Глубины (Passive Depth Sensing). #### Результаты Исследования проводились с использованием iPhone 15 Pro Max в сценах с разным освещением. Результаты показали, что LiDAR эффективно работает в любых условиях, включая низкоконтрастные и низкоосвещенные сцены. Фоновый режект производился с высокой точностью, что демонстрирует преимущества этого подхода. Однако решение чувствительно к материалам, отражающим Инфракрасное излучение LiDAR. Например, стекло и пластик могут вызывать неточности в глубинных картах. #### Значимость Области применения включают широкий спектр технических задач, начиная от живого видеопотока и до пост-продакшн-фотографии. Технология обеспечивает высокую точность и быстроту, а также независимость от световых условий. Ее потенциал включает экономию ресурсов в отличие от AI-моделей, а также повышение удобства в использовании, так как не требует дополнительных оборудований для качественного светового освещения. #### Выводы Метод, описанный в статье, доказывает высокую эффективность и потенциал мобильных технологий в области разделения фона. Направления будущих исследований включают улучшение резолюции глубинных карт LiDAR до соответствия цветовым кадрам, а также развитие м
Annotation:
Light Detection and Ranging (LiDAR) technology in consumer-grade mobile devices can be used as a replacement for traditional background removal and compositing techniques. Unlike approaches such as chroma keying and trained AI models, LiDAR's depth information is independent of subject lighting, and performs equally well in low-light and well-lit environments. We integrate the LiDAR and color cameras on the iPhone 15 Pro Max with GPU-based image processing. We use Apple's SwiftUI and Swift frame...
ID: 2508.20250v1 eess.IV, cs.CV, cs.MM, 68T45, 68U10, I.4.6; I.4.8; H.5.1; I.2.10