Audio-Based Pedestrian Detection in the Presence of Vehicular Noise

#### Контекст Аудио-базированное обнаружение пешеходов является сложной задачей, которая до сих пор была исследована только в шумоограниченных средах. Однако в реальном мире шум от транспорта часто преобладает над звуковыми сигналами, связанными с пешеходами. Это создает сложности для правильного обнаружения пешеходов в таких условиях. Мы предлагаем новый датасет, анализ результатов и подробный обзор состояния исследований в области звукового обнаружения пешеходов в условиях транспортного шума. Данные эксперименты позволяют увидеть степень устойчивости алгоритмов к шумам и кросс-средственную оценку моделей в разных условиях. #### Метод Мы предлагаем новый датасет, состоящий из 1321 часов аудиозаписей, собранных вблизи дорог в различных условиях транспортного шума. Записи охватывают различные дорожные условия, включая трафик и городской шум. Каждая запись включает 16kHz аудиофайлы, синхронизированные с 1fps видео и шагами разбиения на кадры. Мы использовали модели YOLOv4 и DETR для обнаружения пешеходов, а также модели глубокого обучения для распознавания звуков в разных условиях. Методы включали искусственное натренирование моделей на шумовых данных, а также проверки моделей на тестовом датасете с разным шумовым фоном. #### Результаты Мы проводили три основных эксперимента: (i) сравнение моделей на шумовом и нет шумовом датасетах для оценки их кросс-средственной оценки; (ii) изучение влияния шума на показатели моделей, включая различные аспекты звукового контекста; (iii) оценка устойчивости моделей к out-of-domain звуковым сигналам. Результаты показали, что модели YOLOv4 и DETR показывают хорошую стабильность на шумовых записях, но их производительность существенно ухудшается при включении звуков транспорта. Мы также обнаружили, что звуковые сигналы, связанные с транспортом, могут оказывать значительное влияние на модели, особенно когда модели обучены на шумных данных. #### Значимость Наша работа имеет значительное значение для разработки моделей звукового обнаружения пешеходов в реальных условиях, в том числе в городских зонах с высоким транспортным шумом. Мы показали, что шум от транспорта может существенно снижать точность моделей, но при этом могут быть использованы методы, которые повышают устойчивость моделей. Это может быть полезно для автоматических систем обнаружения пешеходов в автомобилях, в системах безопасности на дорогах и для систем автоматизации города. #### Выводы Мы показали, что звуковые сигналы, с