Live Demonstration: Neuromorphic Radar for Gesture Recognition
2508.03324v2
cs.CV, cs.ET, cs.NE, cs.SY, eess.SY
2025-08-09
Авторы:
Satyapreet Singh Yadav, Akash K S, Chandra Sekhar Seelamantula, Chetan Singh Thakur
Резюме на русском
Мы предлагаем нейроморфный радарный фреймворк для реального времени и батарейного эффективного распознавания жестов. Основной идеей является использование ассинхронного сигма-дильта-кодирования для преобразования интерференционных сигналов в спарсенные репрезентации, основанные на импульсах. Это позволяет избежать синтеза спектрограмм и обеспечивает низкую задержку и высокую эффективность. Радарный сенсор 24 ГГц, запущенный на микроконтроллере Cortex-M0, работает только при обнаружении действительных движений, что значительно снижает потребление питания и вычислительные затраты. На нашем датасете жестов, собранных у 7 различных пользователей, архитектура показала высокую точность распознавания (>85%) в реальном времени. Это первый рабочий пример нейроморфной модели с биоинспирированным сигма-дильта-кодированием, который успешно решает задачу радарного распознавания жестов, улучшая производительность и энергоэффективность.
Abstract
We present a neuromorphic radar framework for real-time, low-power hand
gesture recognition (HGR) using an event-driven architecture inspired by
biological sensing. Our system comprises a 24 GHz Doppler radar front-end and a
custom neuromorphic sampler that converts intermediate-frequency (IF) signals
into sparse spike-based representations via asynchronous sigma-delta encoding.
These events are directly processed by a lightweight neural network deployed on
a Cortex-M0 microcontroller, enabling low-latency inference without requiring
spectrogram reconstruction. Unlike conventional radar HGR pipelines that
continuously sample and process data, our architecture activates only when
meaningful motion is detected, significantly reducing memory, power, and
computation overhead. Evaluated on a dataset of five gestures collected from
seven users, our system achieves > 85% real-time accuracy. To the best of our
knowledge, this is the first work that employs bio-inspired asynchronous
sigma-delta encoding and an event-driven processing framework for radar-based
HGR.