Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation

#### Контекст Проектирование систем семантической связи (SC) требует эффективных методов представления и понимания семантики. Большие модели языка (Large-Scale Models, LSMs) показали высокую эффективность в этой области, но их применение в SC ограничено высоким ресурсоемкостью и высокой чувствительностью к шумам канала. Эти проблемы напрягают требования к эффективности и надёжности, которые становятся ключевыми мотивациями для исследований в этой области. #### Метод Предлагается новый фреймворк RKD-SC (Robust Knowledge Distillation for Semantic Communication), который объединяет продвинутую архитектуру поиска светлой модели и два этапа значительного знакомого тренирования. Алгоритм KDL-DARTS используется для поиска оптимальной, светлой структуры модели с помощью интеграции значения знакового потери и критерия хронической сложности. Второй этап, RKD, предназначен для передачи семантических способностей из большой модели (учитель) в легкую модель (ученик) с помощью знакового доступа под разными условиями канала. Для улучшения устойчивости к шумам канала вводится трансформер канала (CAT), который учится с различными длинами выхода и при сильных шумах канала. #### Результаты Проведены симуляции на задачах классификации изображений. Результаты показали, что RKD-SC значительно сокращает число параметров модели, сохраняя высокую эффективность исходной модели и превосходящую устойчивость к шумам канала по сравнению с другими подходами. Это достигнуто благодаря легковесной архитектуре и надежному знаковому доступу. #### Значимость Предложенный подход может быть применён в различных семантических системах связи, в том числе в системах с видео- и звуковым анализом. Он обеспечивает увеличение эффективности за счёт снижения ресурсоемкости и повышает надёжность в неблагоприятных условиях канала. Это значительно повышает потенциал SC в прикладных областях, таких как умные города, транспортные системы и здравоохранение. #### Выводы Разработанный фреймворк RKD-SC доказал свою эффективность в создании светлых моделей с помощью знакового доступа, обеспечивая высокую устойчивость к шумам канала и сохраняя высокую семантическую точность. Будущие исследования будут направлены на расширение этого подхода для работы со сложными сценариями и добиваться более высокой эффективности в реальных системах SC.