Generative Feature Imputing - A Technique for Error-resilient Semantic Communication

2508.17957v2 cs.LG, cs.CV 2025-08-27
Авторы:

Jianhao Huang, Qunsong Zeng, Hongyang Du, Kaibin Huang

Резюме на русском

#### Контекст Область semantic communication (SemCom) набирает важность в рамках шестого поколения (6G) сетей, позволяя эффективно использовать источниковую информацию за счёт извлечения и передачи её смысла с помощью искусственного интеллекта (AI). Однако, внедрение SemCom в цифровые системы сталкивается с проблемами устойчивости к ошибкам трансляции, которые могут исказить семантически важные данные. Эти ошибки требуют усиления усилий по разработке технологий, обеспечивающих достаточную точность и скорость в передаче данных. Наша работа адресует этот вопрос, предлагая новый подход, основанный на технике generative feature imputing. #### Метод Методология разработки состоит из трёх отдельных, но взаимосвязанных техник. Во-первых, мы предлагаем spatial error concentration packetization, метод, который фокусирует ошибки канала на определённых частях данных, упрощая следующие этапы обработки. Во-вторых, мы представляем generative feature imputing, в котором используется diffusion model для эффективного восстановления потерянных фичей. В-третьих, мы разработали semantic-aware power allocation, схему, позволяющую неравномерному защищению пакетов в зависимости от их семантического значения. Эти технологии вместе обеспечивают высокую точность и устойчивость к ошибкам в сетях SemCom. #### Результаты Мы проверили нашу технологию в экспериментах, используя различные данные и сравнив результаты с текущими стандартами, такими как Deep Joint Source-Channel Coding (DJSCC) и JPEG2000. Наши результаты показали, что новый подход обеспечивает значительно более высокую точность в определении смысла и нижу счёт Learned Perceptual Image Patch Similarity (LPIPS) по сравнению с конкурирующими методами. Эти результаты были получены в условиях блочного разрыва канала, что демонстрирует высокую устойчивость нашего подхода. #### Значимость Наша технология может быть использована в различных областях, где требуется высокая точность в передаче смысла, например, в здравоохранении, видеоконференциях, искусственном интеллекте и других AI-задачах. Особые преимущества включают улучшение точности, эффективность в условиях шума и ошибок, а также снижение сложности в трансляции. Мы считаем, что наш подход может стать ключевым элементом в развитии 6G-сетей и AI-based систем, обеспечивая повышенную точность в семантической передачи. #### Выводы Мы доказали, что наша технология generative feature imputing является эффективной и устойчивой к ошибкам в семантической передаче данных. Она предлагает новые возможности для улучшения SemCom в 6G-сетях. Будущие исследования будут нацелены на расширение этого подхода к более сложным сценариям, включая гибридные сети и нейроинформатические мо

Abstract

Semantic communication (SemCom) has emerged as a promising paradigm for achieving unprecedented communication efficiency in sixth-generation (6G) networks by leveraging artificial intelligence (AI) to extract and transmit the underlying meanings of source data. However, deploying SemCom over digital systems presents new challenges, particularly in ensuring robustness against transmission errors that may distort semantically critical content. To address this issue, this paper proposes a novel framework, termed generative feature imputing, which comprises three key techniques. First, we introduce a spatial error concentration packetization strategy that spatially concentrates feature distortions by encoding feature elements based on their channel mappings, a property crucial for both the effectiveness and reduced complexity of the subsequent techniques. Second, building on this strategy, we propose a generative feature imputing method that utilizes a diffusion model to efficiently reconstruct missing features caused by packet losses. Finally, we develop a semantic-aware power allocation scheme that enables unequal error protection by allocating transmission power according to the semantic importance of each packet. Experimental results demonstrate that the proposed framework outperforms conventional approaches, such as Deep Joint Source-Channel Coding (DJSCC) and JPEG2000, under block fading conditions, achieving higher semantic accuracy and lower Learned Perceptual Image Patch Similarity (LPIPS) scores.

Ссылки и действия