Scalable Event-Based Video Streaming for Machines with MoQ

#### Контекст Современные системы видеопотоков обычно основываются на классических подходах, таких как потерятельная сжатия и регулирование скорости потока. Однако в последние годы появились новые типы журналирующих сенсоров, которые записывают видео с помощью асинхронных отдельных выборок пикселей, а не целых изображений. Эти сенсоры, известные как **neuromorphic event sensors**, разработаны специально для компьютерного зрения, а не для традиционного просмотра видео. Несмотря на их потенциал, исследования в этой области сосредоточены преимущественно на приложениях, в то время как проблема передачи данных остается нерешенной. В настоящей работе мы обозначаем ландшафт существующих систем потоковой передачи видео, рассматриваем технические проблемы в работе по потоковой передаче асинхронных данных, и предлагаем новую архитектуру для низкозадержки потоковой передачи на основе последних рекомендаций протокола **Media Over QUIC**. #### Метод Методология, рассматриваемая в работе, включает в себя следующее: 1. **Анализ существующих систем**: Мы проводим обзор существующих технологий потоковой передачи, сравнивая их с требованиями к потоковой передаче данных асинхронного видео. 2. **Технические решения**: Мы предлагаем новую архитектуру для создания низкозадержканого потокового видео. Основные черты этой архитектуры заключаются в: - Использование **Media Over QUIC** для быстрого и надежного транспорта данных. - Разработка **scalable encoding**, которая позволяет регулировать скорость потока в зависимости от нагрузки сети. - **Rate-adaptive streaming**, использующий модель **MoQ (Media over QUIC)** для расширяемости и эффективности. 3. **Архитектура**: Архитектура включает в себя следующие компоненты: - **Event-based encoder**: Обрабатывает асинхронные данные сенсора и кодирует их в низкозадержканый формат. - **Streaming server**: Обеспечивает распространение потока по сети с помощью **Media Over QUIC**. - **Client-side decoder**: Устройство, получающее данные и реконструирующее изображения на основе потока событий. #### Результаты Для оценки эффективности предложенной системы мы проводили эксперименты на нескольких сценариях: 1. **Latency measurements**: Мы измеряли задержку потока в различных условиях сети, включая высокую нагрузку и низкий трафик. 2. **Data throughput**: Мы измеряли скорость передачи данных по сети в различных режимах сжатия. 3. **Quality of Experience (QoE)**: Мы оценивали качество воспроизведения видео на клиентской стороне, измеряя уровень потерь видеоданных и качество изображения. Полученные результаты показывают, что наша архитектура позволяет достичь низкой задержки (менее 50 мс) и высокой эффективности переда