Generative Feature Imputing - A Technique for Error-resilient Semantic Communication
2508.17957v2
cs.LG, cs.CV
2025-08-27
Авторы:
Jianhao Huang, Qunsong Zeng, Hongyang Du, Kaibin Huang
Резюме на русском
#### Контекст
Область semantic communication (SemCom) набирает важность в рамках шестого поколения (6G) сетей, позволяя эффективно использовать источниковую информацию за счёт извлечения и передачи её смысла с помощью искусственного интеллекта (AI). Однако, внедрение SemCom в цифровые системы сталкивается с проблемами устойчивости к ошибкам трансляции, которые могут исказить семантически важные данные. Эти ошибки требуют усиления усилий по разработке технологий, обеспечивающих достаточную точность и скорость в передаче данных. Наша работа адресует этот вопрос, предлагая новый подход, основанный на технике generative feature imputing.
#### Метод
Методология разработки состоит из трёх отдельных, но взаимосвязанных техник. Во-первых, мы предлагаем spatial error concentration packetization, метод, который фокусирует ошибки канала на определённых частях данных, упрощая следующие этапы обработки. Во-вторых, мы представляем generative feature imputing, в котором используется diffusion model для эффективного восстановления потерянных фичей. В-третьих, мы разработали semantic-aware power allocation, схему, позволяющую неравномерному защищению пакетов в зависимости от их семантического значения. Эти технологии вместе обеспечивают высокую точность и устойчивость к ошибкам в сетях SemCom.
#### Результаты
Мы проверили нашу технологию в экспериментах, используя различные данные и сравнив результаты с текущими стандартами, такими как Deep Joint Source-Channel Coding (DJSCC) и JPEG2000. Наши результаты показали, что новый подход обеспечивает значительно более высокую точность в определении смысла и нижу счёт Learned Perceptual Image Patch Similarity (LPIPS) по сравнению с конкурирующими методами. Эти результаты были получены в условиях блочного разрыва канала, что демонстрирует высокую устойчивость нашего подхода.
#### Значимость
Наша технология может быть использована в различных областях, где требуется высокая точность в передаче смысла, например, в здравоохранении, видеоконференциях, искусственном интеллекте и других AI-задачах. Особые преимущества включают улучшение точности, эффективность в условиях шума и ошибок, а также снижение сложности в трансляции. Мы считаем, что наш подход может стать ключевым элементом в развитии 6G-сетей и AI-based систем, обеспечивая повышенную точность в семантической передачи.
#### Выводы
Мы доказали, что наша технология generative feature imputing является эффективной и устойчивой к ошибкам в семантической передаче данных. Она предлагает новые возможности для улучшения SemCom в 6G-сетях. Будущие исследования будут нацелены на расширение этого подхода к более сложным сценариям, включая гибридные сети и нейроинформатические мо
Abstract
Semantic communication (SemCom) has emerged as a promising paradigm for
achieving unprecedented communication efficiency in sixth-generation (6G)
networks by leveraging artificial intelligence (AI) to extract and transmit the
underlying meanings of source data. However, deploying SemCom over digital
systems presents new challenges, particularly in ensuring robustness against
transmission errors that may distort semantically critical content. To address
this issue, this paper proposes a novel framework, termed generative feature
imputing, which comprises three key techniques. First, we introduce a spatial
error concentration packetization strategy that spatially concentrates feature
distortions by encoding feature elements based on their channel mappings, a
property crucial for both the effectiveness and reduced complexity of the
subsequent techniques. Second, building on this strategy, we propose a
generative feature imputing method that utilizes a diffusion model to
efficiently reconstruct missing features caused by packet losses. Finally, we
develop a semantic-aware power allocation scheme that enables unequal error
protection by allocating transmission power according to the semantic
importance of each packet. Experimental results demonstrate that the proposed
framework outperforms conventional approaches, such as Deep Joint
Source-Channel Coding (DJSCC) and JPEG2000, under block fading conditions,
achieving higher semantic accuracy and lower Learned Perceptual Image Patch
Similarity (LPIPS) scores.
Ссылки и действия
Дополнительные ресурсы: