C${}^2$Prompt: Class-aware Client Knowledge Interaction for Federated Continual Learning

#### Контекст Federated continual learning (FCL) является ключевым подходом для обучения моделей в сценариях, где данные поступают непрерывно с распределенных клиентов. Основная проблема FCL состоит в том, чтобы уменьшить влияние "забывания" (forgetting) — как временного (когда модель забывает ранее обученные знания), так и пространственного (когда модель забывает знания, связанные с конкретными клиентами). Несмотря на развитие методов FCL, проблема классовой когерентности во время обмена знаниями между клиентами остается недостаточно изученной. Эта некогерентность влияет на качество вывода модели и ухудшает постоянство знаний в пространстве и времени. #### Метод Мы предлагаем Class-aware Client Knowledge Interaction (C${}^2$Prompt) — метод, который акцентирует внимание на проблеме классовой когерентности в FCL. Метод включает две основные составляющие: 1. **Local Class Distribution Compensation (LCDC)** — метод, который уменьшает различия в классовой распределенности между клиентами, что повышает согласованность внутри класса. 2. **Class-aware Prompt Aggregation (CPA)** — метод, который способствует увеличению релевантности классов во время обмена предложениями (prompts), что уменьшает кросс-классовую путаницу. C${}^2$Prompt интегрирует эти компоненты в структуре обмена знаниями, улучшая общую эффективность обучения. #### Результаты Мы провели эксперименты на нескольких FCL-benchmarks, включая CIFAR-100 и Tiny-ImageNet. Результаты показывают, что C${}^2$Prompt значительно превосходит существующие методы, обеспечивая лучшую точность и постоянство знаний. Мы также проверили эффективность отдельных компонентов C${}^2$Prompt, показав, что оба составляющие — LCDC и CPA — значительно влияют на полученные результаты. #### Значимость C${}^2$Prompt может быть применен в сценариях, где необходимо постоянно обучать модели на нестабильных данных с распределенных клиентов. Например, это может быть применение в мобильных приложениях, где каждый пользователь постоянно получает новые данные. Решение предоставляет выгоды в виде улучшенной точности, сохранения знаний с обучения ранее, и значительного сокращения влияния "забывания". Это может привести к более стабильным и эффективным решениям в области распределенного обучения. #### Выводы Мы установили новый состояний лучшего результата в области классовой когерентности в FCL. Наш метод, C${}^2$Prompt, выдает значительные улучшения по отношению к ранее предложенным методам. Будущие исследования будут нацелены на улучшение интеграции C${}^2$Prompt в более сложных сценариях FCL, в том числе с нелинейными структурами данных и более высокой многомерностью классов.