📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
📄 Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation
2025-08-09Авторы:
Kuiyuan DIng, Caili Guo, Yang Yang, Zhongtian Du, Walid Saad
#### Контекст
Проектирование систем семантической связи (SC) требует эффективных методов представления и понимания семантики. Большие модели языка (Large-Scale Models, LSMs) показали высокую эффективность в этой области, но их применение в SC ограничено высоким ресурсоемкостью и высокой чувствительностью к шумам канала. Эти проблемы напрягают требования к эффективности и надёжности, которые становятся ключевыми мотивациями для исследований в этой области.
#### Метод
Предлагается новый фреймворк RKD-SC (Robust Knowledge Distillation for Semantic Communication), который объединяет продвинутую архитектуру поиска светлой модели и два этапа значительного знакомого тренирования. Алгоритм KDL-DARTS используется для поиска оптимальной, светлой структуры модели с помощью интеграции значения знакового потери и критерия хронической сложности. Второй этап, RKD, предназначен для передачи семантических способностей из большой модели (учитель) в легкую модель (ученик) с помощью знакового доступа под разными условиями канала. Для улучшения устойчивости к шумам канала вводится трансформер канала (CAT), который учится с различными длинами выхода и при сильных шумах канала.
#### Результаты
Проведены симуляции на задачах классификации изображений. Результаты показали, что RKD-SC значительно сокращает число параметров модели, сохраняя высокую эффективность исходной модели и превосходящую устойчивость к шумам канала по сравнению с другими подходами. Это достигнуто благодаря легковесной архитектуре и надежному знаковому доступу.
#### Значимость
Предложенный подход может быть применён в различных семантических системах связи, в том числе в системах с видео- и звуковым анализом. Он обеспечивает увеличение эффективности за счёт снижения ресурсоемкости и повышает надёжность в неблагоприятных условиях канала. Это значительно повышает потенциал SC в прикладных областях, таких как умные города, транспортные системы и здравоохранение.
#### Выводы
Разработанный фреймворк RKD-SC доказал свою эффективность в создании светлых моделей с помощью знакового доступа, обеспечивая высокую устойчивость к шумам канала и сохраняя высокую семантическую точность. Будущие исследования будут направлены на расширение этого подхода для работы со сложными сценариями и добиваться более высокой эффективности в реальных системах SC.
Annotation:
Large-scale models (LSMs) can be an effective framework for semantic
representation and understanding, thereby providing a suitable tool for
designing semantic communication (SC) systems. However, their direct deployment
is often hindered by high computational complexity and resource requirements.
In this paper, a novel robust knowledge distillation based semantic
communication (RKD-SC) framework is proposed to enable efficient and
\textcolor{black}{channel-noise-robust} LSM-powered SC. The fram...