Synesthesia of Machines (SoM)-Based Task-Driven MIMO System for Image Transmission

## Контекст Сети множества кооперативных мобильных агентов в динамических сценариях требуют эффективного и надежного передачи сенсорных данных для обеспечения кооперативного восприятия (CP). Одним из ключевых вопросов является трансляция изображений под неблагоприятными условиями канала. Нейронные сети, основанные на комбинировании источника и канала (JSCC), продемонстрировали свою эффективность в передаче изображений по сравнению с традиционными кодеками в таких условиях. Однако существующие MIMO-JSCC-схемы ограничиваются простыми задачами и аналоговыми системами передачи (DTAT), не достаточно эффективными для обеспечения сложных задач CP в сетях с цифровыми системами MIMO. В этой работе предлагается SoM-MIMO — система, основанная на SoM для цифровых систем MIMO, которая учитывает структурные свойства сетки особенностей для задач восприятия и свойства канала MIMO, обеспечивая более эффективную и надежную передачу изображений. ## Метод SoM-MIMO основывается на идее комбинирования структурных свойств сетки особенностей (как задачи восприятия) с канальными свойствами MIMO (как цифровой системы передачи). Архитектура SoM-MIMO включает в себя нейронные сети, которые адаптируются к канальным условиям, объединяя JSCC с MIMO-системой. Она использует преобразование функциональных признаков изображений и их кодирование в соответствии с характеристиками канала MIMO. Данная система позволяет направлять передачу изображений в соответствии с требованиями задачи восприятия и уменьшать потери в канале. Такой подход позволяет эффективно использовать ресурсы канала, снижая ошибки в передаче и улучшая точность восприятия в сетях мобильных агентов. ## Результаты В экспериментах SoM-MIMO сравнивался с двумя базовыми схемами JSCC в условиях различных уровней SNR. Наш подход показал существенное улучшение средней точности детектирования объектов (mAP) — на 6.30 и 10.48 меньше по сравнению с двумя базовыми схемами, при этом сохраняя одинаковый объем передачи данных. Эти результаты демонстрируют высокую эффективность SoM-MIMO в поддержке сложных задач CP в сетях MIMO, имеющих цифровую систему передачи. Это улучшение достигнуто благодаря учету структурных свойств объектов и специфики канала MIMO, что обеспечивает более надежную передачу данных. ## Значимость Предложенная SoM-MIMO-система имеет широкие перспективы в области кооперативного восприятия в сетях мобильных агентов. Она может быть применена в таких областях, как автоматизированная система управления транспортом, системы поиска и спасения, а также в област