Multi-Modal Sensing Aided mmWave Beamforming for V2V Communications with Transformers
2509.11112v1
cs.NI, cs.AI, cs.ET, cs.IT, cs.LG, math.IT
2025-09-17
Авторы:
Muhammad Baqer Mollah, Honggang Wang, Hua Fang
Резюме на русском
## Контекст
Машинно-товарные связи (V2V) становятся ключевым фактором для будущих сетевых технологий, поскольку они обеспечивают быструю связь между автомобилями для повышения безопасности и эффективности транспортных систем. Однако в динамичных внешних условиях, таких как плохая погода или высокая плотность трафика, V2V-связи часто сталкиваются с проблемами, такими как ограниченная дистанция передачи и высокий оверхед в передаче. Одним из основных узлов является процесс бистрого настройки параметров передачи, таких как углы антенн. Использование стандартных методов для этого может существенно снизить эффективность связи, так как требуется большое количество исследований и передачи данных. Данная работа сосредотачивается на разработке методов, способных уменьшить такие ограничения, используя многомодальное сенсорное взаимодействие.
## Метод
Метод представляет собой сочетание многомодального сенсорного получения данных и машинного обучения, особенно трансформеров. Он включает несколько этапов:
1. **Извлечение мультимодальных признаков.** Из видеокамер и GPS-данных извлекаются отдельные признаки с помощью моделей, приспособленных для данных модальностей.
2. **Интеграция признаков.** Извлеченные признаки объединяются в одну модель, чтобы уменьшить пространство поиска антенного угла.
3. **Предсказание лучших вариантов.** Основываясь на учебных данных, модель выбирает топ-k антенных углов с наибольшей вероятностью установления лучей в прямой видимости (LoS).
4. **Оптимизация процесса настройки.** Эталонный подход к настройке углов антенн заменяется на более эффективный процесс с меньшим количеством передаваемых данных.
## Результаты
Проведены эксперименты на реальных данных из многомодального потока сенсорных и связи. Оценка производится по точности предсказания топовых углов антенн с лучшей вероятностью соединения. Результаты показывают, что подход:
- Достигает до 77,58% точности в предсказании топ-15 углов.
- Снижает потерю мощности до приемлемых значений (2,32 dB).
- Уменьшает объем операций поиска углов на 76,56% по сравнению с стандартным подходом.
Эти результаты указывают на эффективность и практическую ценность предлагаемого подхода.
## Значимость
Предлагаемый подход может применяться в различных сценариях машинно-товарных связей, включая автоматические системы управления транспортом, городские сети V2X и автопилоты. Он снижает требования к вычислительным мощностям, уменьшает задержки и увеличивает пропускную способность связи. Эти преимущества могут
Abstract
Beamforming techniques are utilized in millimeter wave (mmWave) communication
to address the inherent path loss limitation, thereby establishing and
maintaining reliable connections. However, adopting standard defined
beamforming approach in highly dynamic vehicular environments often incurs high
beam training overheads and reduces the available airtime for communications,
which is mainly due to exchanging pilot signals and exhaustive beam
measurements. To this end, we present a multi-modal sensing and fusion learning
framework as a potential alternative solution to reduce such overheads. In this
framework, we first extract the features individually from the visual and GPS
coordinates sensing modalities by modality specific encoders, and subsequently
fuse the multimodal features to obtain predicted top-k beams so that the best
line-of-sight links can be proactively established. To show the
generalizability of the proposed framework, we perform a comprehensive
experiment in four different vehicle-to-vehicle (V2V) scenarios from real-world
multi-modal sensing and communication dataset. From the experiment, we observe
that the proposed framework achieves up to 77.58% accuracy on predicting top-15
beams correctly, outperforms single modalities, incurs roughly as low as 2.32
dB average power loss, and considerably reduces the beam searching space
overheads by 76.56% for top-15 beams with respect to standard defined approach.