SIS-Challenge: Event-based Spatio-temporal Instance Segmentation Challenge at the CVPR 2025 Event-based Vision Workshop

#### Контекст Современные системы визуального восприятия сталкиваются с требованиями к высокой точности, быстродействию и эффективности в обработке многоканального видео. Особенно актуальной оказывается задача сегментации инстанций в пространственно-временной области (Spatio-temporal Instance Segmentation, SIS), особенно при использовании современных эвент-камер. Эти камеры предоставляют данные в форме потоков событий, которые характеризуются повышенной чувствительностью к движению и малым потреблением энергии. Однако обработка таких данных представляет сложности, включая неустойчивость сигнала, высокую частоту событий и синхронизацию между различными каналами. Задача SIS для таких данных является ключевым вопросом в рамках работ CVPR 2025 Event-based Vision Workshop, нацеленных на развитие методов, эффективных для реального времени и устойчивых к разным условиям. #### Метод Методология SIS-Challenge основывается на создании открытого датасета, содержащего синхронизированные данные от эвент-камеры и граyzскай-камеры. Этакий подход позволяет обеспечить точную сегментацию объектов, необходимую для решения проблем взаимодействия с миром реального времени. Использовались подходы, основанные на нейронных сетях, включая U-Net или Mask R-CNN, адаптированные для обработки данных из эвент-камер. Основной архитектурой стали модели сверточных нейронных сетей с дополнительными модулями, учитывающими пространственно-временные особенности данных. Такая архитектура позволяет объединить сигналы из разных каналов и повысить точность исходящих прогнозов. #### Результаты В рамках SIS-Challenge приняли участие 12 команд, подавших результаты. Топ-5 команд, достигших лучших результатов, использовали алгоритмы, основанные на нейронных сетях. Обнаружено, что улучшение точности сегментации происходит благодаря использованию синхронизированных входных данных, а также специальным методам, учитывающим характеристики эвент-камер. Наиболее эффективными оказались модели, использующие адаптивные методы свертки, глубокие связи между слоями и единовременную обработку данных эвент-камеры и граyzскай-камеры. Эти результаты показывают, что современные сети могут эффективно обрабатывать данные из многоканальных источников, при этом обеспечивая высокую скорость и точность. #### Значимость Результаты SIS-Challenge имеют значительное значение в области компьютерного зрения, особенно для применения в реальном времени, таких как обозревание, робототехника и автоматическое управление. Высокая точность, достигнутая в ходе этого соревнования, открывает новые возможности для создания систем, эффектив