Visual Grounding from Event Cameras

## Контекст Event cameras — это устройства, которые записывают изменения яркости с микросекундной точностью. Они отличаются высокой скоростью реакции, точностью работы при скорости движения и в трудных условиях освещения. Тем не менее, их интеграция с национальным языком понимания (NLU) остается недостаточно изученной темой, несмотря на значительные преимущества в моделировании динамических сцен. Это открывает широкие возможности для развития мультимодального понимания, в том числе в таких областях, как робототехника, взаимодействие человека-компьютер и сенсорные системы. ## Метод Мы предлагаем Talk2Event — первую большой бенчмарк-коллекцию для языкового направленного граундинга объектов в данных эвент-камеры. Talk2Event включает 5 567 сцен, 13 458 аннотированных объектов и более 30 000 тщательно проверенных определений. Каждый определение сопровождается четырьмя атрибутами: его внешним видом, состоянием, отношением к просматривающему объекту и отношением к окружающим объектам. Эта атрибутно-ориентированная структура обеспечивает интерпретируемую и составную модель граундинга, которая расширяет возможности глубокого понимания сцены за счет выхода за рамки простого распознавания объектов в терминах признаков. ## Результаты Мы провели эксперименты с различными моделями для оценки Talk2Event. Использовались специально разработанные атрибут-активационные модели, которые позволяют анализировать сложность и точность результатов. Наши результаты показывают значительный прогресс в понимании объектов в динамических сценах, а также подчеркивают важность атрибутов для развития мультимодальных методов. ## Значимость Talk2Event предлагает новый подход к граундингу объектов в динамических сценах, закладывая фундамент для развития робототехники, взаимодействия человека-компьютер и компьютерного зрения в условиях сложной информации. Этот бенчмарк не только расширяет возможности моделей, но и позволяет проводить интерпретируемый анализ в среде, где необходимо учитывать как пространственные, так и временные и относительные аспекты. ## Выводы Talk2Event предлагает многогранный подход к граундингу объектов на основе данных эвент-камеры. Мы предлагаем свой бенчмарк для будущих исследований в области мультимодального понимания и динамических сцен. Наши результаты указывают на возможность расширения текущих моделей для более точного и контекстуально осмысленного граундинга. Мы также отмечаем, что Talk2Event может стать основополагающим элементом для развития систем, использующих роботов, интерактивные интерфейсы и д