WAVE-DETR Multi-Modal Visible and Acoustic Real-Life Drone Detector

#### Контекст В последние годы становится всё более актуальным использование синхронных визуальных и акустических сигналов для обнаружения дронов в реальной жизни. Несмотря на развитие технологий в области обнаружения объектов, существуют значительные проблемы, связанные с ограниченной детекцией в условиях ограниченного расстояния, низкого разрешения и внезапных изменениях времени пропускания. Эти проблемы особенно актуальны при работе с дронами, которые часто встречаются в трудных средах с узкими улицами, зданиями или лесами. Многие существующие решения не могут гарантировать высокую точность в обнаружении дронов в таких условиях. Именно поэтому требуется разработать более стабильный и точный метод, который применим в реальных условиях. #### Метод Мы предлагаем метод, который объединяет визуальные и акустические сигналы для улучшения показателей детекции дронов в сложных средах. Для этого используется модель Deformable DETR, обученная использовать визуальные и акустические признаки. Для обработки акустических данных применяется архитектура Wav2Vec2, которая эффективно извлекает акустические признаки из звуковых сигналов. Мы разработали несколько вариантов объединения данных, включая механизмы типа gated, linear layer, MLP и cross attention. Эти методы позволяют производить свёртку визуальных и акустических признаков в единое моделирующее решение. Мы протестировали наши модели на двух датасетах: Drone-vs-Bird и новом ARDrone dataset, который содержит более 7,500 синхронизированных изображений и аудио сегментов. #### Результаты Мы проводили эксперименты с четырьмя различными способами объединения данных. Лучший метод — gated fusion — позволил увеличить mAP (mean average precision) на 11.1%–15.3% для малых дронов при всех IoU-пороговых значениях от 0.5 до 0.9. Для средних и крупных дронов также был замечен увеличение mAP, что в общем счёте привело к увеличению точности детекции на 3.27%–5.84%. Мы обнаружили, что акустические сигналы позволяют обнаруживать дроны в тех случаях, когда визуальные данные недостаточно ясны, такие как темные условия или высокая скорость движения. #### Значимость Наш метод имеет широкое применение в системах по управлению дронами, мониторингу и безопасности. Он может быть применён для предотвращения рисков, возникающих при взаимодействии дронов с людьми или средствами. Это решение может быть использовано для мониторинга лесных территорий, городских пространств или систем обнаружения военных целей. Основное преимущество нашего подхода заключается в том, что он обеспечивает улучшение точности детекции дронов в реальных условиях, включая уз