📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Kuiyuan DIng, Caili Guo, Yang Yang, Zhongtian Du, Walid Saad

#### Контекст Проектирование систем семантической связи (SC) требует эффективных методов представления и понимания семантики. Большие модели языка (Large-Scale Models, LSMs) показали высокую эффективность в этой области, но их применение в SC ограничено высоким ресурсоемкостью и высокой чувствительностью к шумам канала. Эти проблемы напрягают требования к эффективности и надёжности, которые становятся ключевыми мотивациями для исследований в этой области. #### Метод Предлагается новый фреймворк RKD-SC (Robust Knowledge Distillation for Semantic Communication), который объединяет продвинутую архитектуру поиска светлой модели и два этапа значительного знакомого тренирования. Алгоритм KDL-DARTS используется для поиска оптимальной, светлой структуры модели с помощью интеграции значения знакового потери и критерия хронической сложности. Второй этап, RKD, предназначен для передачи семантических способностей из большой модели (учитель) в легкую модель (ученик) с помощью знакового доступа под разными условиями канала. Для улучшения устойчивости к шумам канала вводится трансформер канала (CAT), который учится с различными длинами выхода и при сильных шумах канала. #### Результаты Проведены симуляции на задачах классификации изображений. Результаты показали, что RKD-SC значительно сокращает число параметров модели, сохраняя высокую эффективность исходной модели и превосходящую устойчивость к шумам канала по сравнению с другими подходами. Это достигнуто благодаря легковесной архитектуре и надежному знаковому доступу. #### Значимость Предложенный подход может быть применён в различных семантических системах связи, в том числе в системах с видео- и звуковым анализом. Он обеспечивает увеличение эффективности за счёт снижения ресурсоемкости и повышает надёжность в неблагоприятных условиях канала. Это значительно повышает потенциал SC в прикладных областях, таких как умные города, транспортные системы и здравоохранение. #### Выводы Разработанный фреймворк RKD-SC доказал свою эффективность в создании светлых моделей с помощью знакового доступа, обеспечивая высокую устойчивость к шумам канала и сохраняя высокую семантическую точность. Будущие исследования будут направлены на расширение этого подхода для работы со сложными сценариями и добиваться более высокой эффективности в реальных системах SC.
Annotation:
Large-scale models (LSMs) can be an effective framework for semantic representation and understanding, thereby providing a suitable tool for designing semantic communication (SC) systems. However, their direct deployment is often hindered by high computational complexity and resource requirements. In this paper, a novel robust knowledge distillation based semantic communication (RKD-SC) framework is proposed to enable efficient and \textcolor{black}{channel-noise-robust} LSM-powered SC. The fram...
ID: 2508.02148v1 cs.LG, cs.AI, eess.IV, eess.SP