#### Контекст Область исследования — reinforcement learning (RL) в нестационарных средах, где изменение динамики и вознаграждений нестабильные средищи в предыдущие опыты. Это создает трудности для традиционных методов опытного реплея (ER), включая приоритезацию на основе TD-error, которые не могут отличать изменения, вызванные политикой агента, и изменениями в самой среде. Такая неоднородность приводит к эффективности узкой эр. Для решения этой проблемы необходимо развитие подходов, которые были бы более эффективными в понимании изменений среды и приемлемыми в транзитных процессах. #### Метод Мы предлагаем Discrepancy of Environment Dynamics (DoE) — метрику, которая изолирует влияние изменений среды на value functions. На основе этой метрики разработан Discrepancy of Environment Prioritized Experience Replay (DEER) — адаптивный ER-фреймворк, который приоритизирует транзакции, учитывая как политические обновления, так и изменения в среде. DEER включает в себя бинарный классификатор для обнаружения изменений среды и применяет различные стратегии приоритезации перед и после каждого изменения. Это позволяет эффективно реагировать на изменения в среде и оптимизировать обучение. #### Результаты Мы провели эксперименты на четырёх бенчмарках нестационарных сред. Использовались данные, представляющие различные условия нестационарности. Результаты показали, что DEER улучшает производительность off-policy алгоритмов на 11,54% по сравнению с лучшими современными ER-методами. Эти результаты указывают на эффективность DEER в уменьшении неэффективности обучения в нестационарных условиях. #### Значимость DEER может применяться в различных технологических областях, где нестационарные условия являются природной частью процессов — например, в развитии систем управления, систем самообучения и прогнозирования. Главное преимущество DEER заключается в более эффективном использовании примеров в условиях нестабильности, что может привести к более быстрому и точному обучению алгоритмов RL. Дальнейшие исследования могут обобщить DEER на более широкие классы задач и сред. #### Выводы Мы разработали Discrepancy of Environment Prioritized Experience Replay (DEER) — метод, который эффективно распознает и адаптируется к изменениям в среде в нестационарных условиях. Эксперименты показали, что DEER повышает эффективность обучения на 11,54% по сравнению с текущими методами. Будущие исследования будут направлены на расширение DEER для более широких классов задач и окружений.

## Контекст В связи с появлением огромных объемов разнообразных данных в системах шестого поколения (6G), роль целесообразной семантической связи становится ключевой. Она обеспечивает устойчивые интеллектуальные услуги в широком диапазоне задач. Однако существуют сложности в обработке неоднородных данных, включая шум, несоответствие классов и нехватку меток. Эти проблемы могут влиять на качество семантического восстановления. Мы предлагаем рассмотреть открытую проблему неустойчивости семантических систем в работе с реальной неоднородностью данных, учитывая характеристики 6G-систем. Задачей нашего исследования является разработка модели, которая была бы устойчивой к этим проблемам и обеспечивала бы высокую точность восстановления смысла в различных условиях. ## Метод Мы предлагаем Task-Agnostic Learnable Weighted-Knowledge Base Semantic Communication (TALSC) — модель, которая при sроении на обучение включает в себя следующие компоненты: семантические сети кодирования (semantic coding networks), выступающие в качестве основных участников, и семантический знаний базы (knowledge base, KB). Наша модель использует весовое знание (weighted knowledge), которое хранится в KB и регулируется с помощью learnable weighted-KB (LW-KB). Для улучшения мета-обучения мы ввели Sample Confidence Module (SCM), который работает как мета-учитель и определяет веса примеров на основе фидбека по их затратам на задачу. Эта модель подстраивает обучение под различные условия, чтобы повысить устойчивость к шуму и несбалансированным классам. Мы также разработали SCM-Grid Extension (SCM-GE), который улучшает точность оценки важности примеров во время обучения, используя концепции spline refinement из Kolmogorov-Arnold Networks (KAN). ## Результаты Мы проводили эксперименты на различных семантических задачах в области изображений. Для тестирования использовались различные данные, включая шумные и безымянные метки. Мы сравнили TALSC с состоянием технологии (SOTA) и получили следующие результаты: TALSC был устойчив к шуму, обеспечивал высокую точность восстановления смысла и повысил многомерную структурную схожесть (MS-SSIM) на 12% по сравнению с SOTA. Эти результаты показали, что SCM-GE отлично работает в режиме минимизации шумовых эффектов и улучшает устойчивость модели в незнакомых задачах. ## Значимость Модель TALSC может быть применена в сферах, требующих высокого качества семантического восстановления данных, таких как искусственный интеллект, медицина, телекоммуникации и машинное обучение. Она обеспечивает устойчивость в ситуациях с неоднородными данными, уменьшая ошибки и улучшая качество обработки. Мы считаем, что в будущем модель может быть расширена

## Контекст Edge computing системы представляют собой распределенные среды, где несколько устройств должны принимать скоростные решения в реальном времени, используя ограниченные ресурсы, такие как сетевое пространство и вычислительная мощность. Эти системы часто сталкиваются с проблемами, такими как неопределенность в сетевом трафике, конфликты за ресурсами и нехватка вычислительного времени. Одной из ключевых задач в таких системах является "offloading" — перенос задач с ограниченного устройства на более мощный сервер. Однако эффективное решение этой задачи требует координации множества агентов, чтобы избежать конфликтов и оптимизировать использование ресурсов. Существующие методы логических решений часто либо централизованны, либо требуют частого обмена информацией, что неэффективно в условиях ограниченности сетевого трафика и неопределенности. ## Метод Мы предлагаем уникальный подход к решению данной проблемы, основанный на многоагентном управлении подкреплением (MARL). Наша модель основывается на конструкции децентрализованного фреймворка, в котором каждый агент решает собственный задачу оптимизации — строго ограниченную задачу марковского решения (CMDP). Агенты обмениваются информацией только через связь с контроллером, который обновляет ограничения в CMDP на основе глобальных целей системы. Это позволяет агентам заботиться о собственных локальных целях, не теряя глобальную координацию. Такой подход значительно сокращает объем сетевой информации, требуемую для обмена, и позволяет системе работать даже при нестабильном соединении. Мы также применяем методы безопасного многоагентного обучения для того, чтобы гарантировать, что каждый агент будет работать в пределах безопасного диапазона действий. ## Результаты Мы проводили эксперименты в симуляторе для оценки производительности нашего метода в параллельном оффлоадинге. Мы сравнивали наш метод с двумя базовыми системами: централизованным методом, где все решения принимаются одним регулятором, и независимым методом, где каждый агент решает задачу независимо, независимо от других. Наши результаты показали, что многоагентный подход дает значительное улучшение во времени отклика и эффективности использования ресурсов по сравнению с централизованным подходом. Особенно заметно это в больших системах с высокой неопределенностью. Мы также проверяли нашу модель в условиях малого обновления ограничений, и она показала высокую устойчивость и точность. ## Значимость Наш подход может быть применен в различных областях, где требуется эффективное управление рес

## Контекст Open RAN (Open Radio Access Network) представляет собой инновационную архитектуру сетей, предназначенную для улучшения программируемости и взаимодействия в системах беспроводного доступа. Однако, несмотря на свои преимущества, нынешние реализации Open RAN все еще полагаются на статические методы управления и ручные операции. Это ставит перед исследователями задачу создания более гибких и автоматизированных систем управления сетями, которые могут адаптироваться к изменяющимся условиям и потребностям. Именно на этом фоне возникает AgentRAN, новая AI-ориентированная архитектура, предназначенная для автоматического управления Open RAN сетями с помощью динамических, распределенных агентов, которые понимают и реагируют на естественный язык. ## Метод AgentRAN основывается на использовании расширенных лингвистических моделей (LLM) для интерпретации естественного языка (NL). Агенты AgentRAN не только понимают приходящие запросы в естественной форме, но и взаимодействуют между собой, обмениваясь информацией и формируя стратегии для достижения оптимальных результатов. Основной инновацией является AI-RAN Factory, автоматизированная система, которая анализирует взаимодействия между агентами и самостоятельно строит новые, более эффективные агенты. Эта архитектура разделяет сеть на несколько уровней (PHY, MAC, RRC) и работает на разных временных масштабах, от микросекунд до минут, чтобы обеспечить гибкость и эффективность. ## Результаты Эксперименты AgentRAN проводятся на живых 5G-тестовых сетях, где он демонстрирует успешное управление сетевыми ресурсами в условиях многозадачности и высокой нагрузки. Агенты AgentRAN успешно обрабатывают естественные языковые команды, адаптируются к изменениям в сетевых условиях и решают конфликты между различными пользовательскими запросами. Эти результаты показывают, что AgentRAN может значительно улучшить эффективность и автоматизацию в Open RAN сетях, давая возможность сети адаптироваться самостоятельно к динамическим условиям. ## Значимость AgentRAN может быть применен в различных сферах, включая 6G-сети, интеллектуальные города, и автоматизированные системы управления беспроводными сетями. Одним из основных преимуществ является автоматическая оптимизация и самоорганизация, что позволяет сетям оптимизироваться в реальном времени. Это значительно сокращает время реакции и улучшает общую производительность. Кроме того, AgentRAN может существенно упростить развертывание и управление новыми технологиями в будущих сетях, давая им возможность эволюционировать и адаптироваться к свои

## Контекст Современное развитие искусственных нейронных сетей (ANN) и больших языковых моделей (LLM) позволило создать агентные системы на основе глубокого обучения (LLM-based multi-agent systems, LaMAS), которые взаимодействуют в различных сферах, включая обработку текста, визуальную информацию и даже управление оборудованием. Однако существующие агентные системы часто являются замкнутыми и несовместимыми, что требует развития новых протоколов для обеспечения универсальной и стабильной платформы интеллектуальных агентов. Одним из новых подходов является Agentic Web (AW) — распределенная архитектура, позволяющая создавать прозрачные и интегрированные системы, но все еще сталкивающаяся с проблемами, такими как защита персональных данных, управление их обменом, а также измерение их ценности. Эти проблемы становятся критичными при масштабировании системы и работе в кросс-доменных средах, что делает нынешние решения неэффективными. Данная работа предлагает развитие инновационного подхода к расширению AW — **BetaWeb**, который использует технологии блокчейна для создания безопасной, универсальной и мотивированной среды для развития агентных систем. ## Метод **BetaWeb** предлагает создать универсальную инфраструктуру, основанную на блокчейне, для хранения и обмена данными между агентами. Блокчейн в этом контексте не только обеспечивает безопасность и неизменяемость данных, но также вводит новую модель мотивации, позволяющую агентам зарабатывать на их работе и участвовать в распределенном процессе принятия решений. В центре BetaWeb лежит универсальная модель контрактов, позволяющая агентам заключать сделки друг с другом и с системами, а также встроиться в уже существующие блокчейн-экосистемы. Для обеспечения высокой производительности и удобства использования разработана специальная архитектура, включающая: - **Децентрализованную сеть данных** для хранения информации о состоянии и действиях агентов. - **Блокчейн-сеть для управления сделками** и обеспечения ценностной модели. - **Протоколы взаимодействия**, позволяющие агентам организовывать коллаборации и выполнять задачи в разных сферах. Более того, предлагается новая модель стимулирования, которая реализуется с помощью публичных и приватных ключей, а также специальных смарт-контрактов, которые обеспечивают мотивацию агентов на основе их потенциального вклада в систему. ## Результаты Для проверки эффективности **BetaWeb**, проведены эксперименты на двух типах стандартных задач: 1. **Синтетические тестовые задачи**, ориентированные на измерение производитель

#### Контекст Современные нейронные сети становятся все более сложными, что создает значительные вызовы для их развертывания в распределенных машинных обучении (ML), особенно на устройствах с ограниченными ресурсами, таких как федеративное обучение (FL). Одним из таких подходов является **Split Learning (SL)**, который позволяет разделить вычислительную нагрузку между устройствами. Однако, при увеличении количества участников, весьма значительной является задержка, вызванная трансмиссией объектов и промежуточных данных (smashed data), включая активации и градиенты. Таким образом, необходимо разработать эффективный подход к сжатию данных, чтобы ускорить обучение моделей. #### Метод **SL-ACC** — это разработанная система, которая состоит из двух ключевых компонентов: **Adaptive Channel Importance Identification (ACII)** и **Channel Grouping Compression (CGC)**. ACII использует **Shannon entropy** для определения вклада каждого канала смашенных данных в процесс обучения. Затем, CGC группирует графические каналы с помощью алгоритма энтропии и применяет **group-wise adaptive compression** (групповое сжатие с адаптивностью) для сокращения объема передаваемых данных, не влияя на точность модели. Эта архитектура разработана для максимального эффективности в сжатии данных и уменьшения задержек в процессе обучения. #### Результаты Выполнены обширные эксперименты с помощью различных данных, включая MNIST, CIFAR-10, и CIFAR-100. Результаты показали, что **SL-ACC** значительно сокращает время, необходимое для достижения целевой точности, в сравнении с современными фреймворками. Эксперименты показали, что адаптивность ACII и CGC позволяет эффективно сжимать данные без потери качества обучения. Например, в сравнении с другими методами, **SL-ACC** относительно быстро достигает 90% точности, что делает его эффективным для распределенных ML-систем. #### Значимость **SL-ACC** может применяться в различных областях, включая медицину, транспорт, и ИИ для устройств с ограниченными ресурсами. Он обеспечивает значительное улучшение производительности в сравнении с другими методами сжатия. Одним из основных преимуществ является эффективное сжатие данных без потери точности, что делает его привлекательным для обучения моделей в реальном времени. Будущие исследования могут сфокусироваться на расширении фреймворка для различных типов нейронных сетей и улучшении его эффективности в разных условиях сетевых узколей. #### Выводы **SL-ACC** позволяет эффективно группировать каналы и адаптивно сжимать данные в рамках распределенного обучения. Он предлагает значительное улучшение в скорости и качестве обучения, что делает его привлекательным для распределенных систем, включая FL. Дальнейшие ис

## Контекст Federated fine-tuning (FFT) является продвинутой методологией для адаптации фундаментальных моделей (FMs) к различным задачам в динамичных окружениях, таких как Интернет вещей (IoT), Интернет вещей на автомобилях (IoV) и др. Однако в IoV-сетях, где присутствуют узкие места, такие как мобильность клиентов, различия в ресурсах, нестабильность сетевого подключения, создается сложная задача для эффективной и низкозамедлительной адаптации моделей к новым задачам. Для решения этой проблемы необходимо разработать алгоритм, который учитывает эти ограничения и обеспечивает эффективное использование ресурсов во время адаптации. Таким образом, целью этой работы является разработка методологии, которая адаптирует модели в сетях IoV с учетом энергосберегающих, мобильных и многозадачных аспектов. ## Метод Мы предлагаем **двухуровневый федеративный подход** для адаптации моделей в IoV-сетях. Центральным концептом является **Low-Rank Adaptation (LoRA)**, которая позволяет изменять модель с минимальным потреблением ресурсов. Для оптимизации энергопотребления и мобильности вводится **децентрализованная механика адаптации ранга**, основанная на многократном исследовании (UCB-DUAL). Эта методика оптимизирует выбор ресурсов для каждой задачи в зависимости от её важности и доступности ресурсов. Для построения реального сценария IoV используются реальные траектории движения и характеристики сети. Наша архитектура включает в себя координацию между **roadside units (RSUs)** и **moving vehicles**, чтобы максимально эффективно распределить ресурсы и обеспечить стабильность в задачах многозадачного обучения. ## Результаты Мы проводили эксперименты на построенном симуляторе IoV, основанном на реальных данных. Исследовались различные сценарии с участием RSUs и мобильных устройств, включая различные уровни загрузки и сетевых помех. Результаты показали, что наш метод **повышает точность адаптированных моделей на 2,5%**, а также **уменьшает задержки на 24%** по сравнению с основными базовыми методами. Более того, наша алгоритмическая стратегия **LoRA с UCB-DUAL** демонстрирует лучшую энергоэффективность и выжимает ресурсы в сценариях с узкими маржами. Эти результаты подтверждают эффективность нашего подхода в условиях динамических сетей IoV. ## Значимость Предложенная методология может быть применена в различных сценариях **для поддержки адаптивных сетей в IoV**, включая сегментацию трафика, адаптивное управление трафиком и системы безопасности в рамках Интернета вещей. Этот подход позволяет значительно **улучшить эффек

## Контекст В последние годы семантическая связь привлекла внимание в области коммуникаций, так как она способствует лучшему пониманию и обработке информации. Однако существуют значительные проблемы, связанные с защитой личных данных и конфиденциальностью семантической информации. Для решения этих проблем в статье предлагается исследовать новую модель семантической связи, в которой сервер передает семантическую информацию (значение изображения) пользователю, в то же время защищая ее от попыток проникновения злоумышленников. Злоумышленник стремится вывести оригинальное изображение из передаваемой семантической информации. Чтобы защитить данные от проникновения, в качестве защиты используется дружественный шумодав, который генерирует шум для запутать злоумышленника. Тем не менее, сервер не может координироваться с шумодавом, что затрудняет оптимизацию процесса передачи. Это требует разработки новых методов, которые могут эффективно оптимизировать систему в условиях ограниченных ресурсов и без двусторонней связи. ## Метод В статье предлагается методология, основанная на модели удержания дохода (prioritized sampling). Метод сочетает в себе две независимые сети Q, что позволяет избежать локального оптимума и повысить точность оценки Q-значений. Для решения задачи оптимизации системы семантической связи предлагается использовать алгоритм twin delayed deep deterministic policy gradient (TD3). Алгоритм учитывает ограничения на передачу и связь между сервером и шумодавом, оптимизируя семантическую информацию и мощность передачи в каждый отдельный момент времени. Это позволяет уменьшить риск детектирования злоумышленником и повысить качество передачи. ## Результаты В ходе экспериментов были проанализированы различные сценарии с использованием разных уровней шума и ограничений на передачу. Было проверено, что алгоритм TD3 позволяет значительно повысить степень защиты семантической информации, снизив риск ее детектирования до 32,2% по сравнению с стандартными методами. Кроме того, улучшенный алгоритм повысил качество передачи семантической информации до 14,3% по сравнению с другими методами оптимизации. Эти результаты показывают, что предложенный подход эффективнее в защите конфиденциальности данных и повышении качества передачи семантической информации. ## Значимость Предлагаемый подход может быть применен в различных сферах, где требуется защита конфиденциальной информации, таких как банковские системы, медицина, интернет вещей. Наибольшее преимущество от использования этого метода могут получить системы с высокими требования

Миллиметровые волны (mmWave) — ключевой технология мультиконтекстного обеспечения высокой пропускной способности в сетях будущего. Однако эти системы подвержены атакам типа beam-stealing, что грозит их безопасностью и производительностью. Данная работа предлагает инновационный подход к противодействию таким угрозам с помощью Deep Reinforcement Learning (DRL). Агент DRL, основанный на усовершенствованном алгоритме Proximal Policy Optimization (PPO), проводит адаптивную оценку угроз в рамках интегрированного подхода Sensing and Communications (ISAC). Использование активного метода проверки подозрительных активностей позволяет DRL-агенту грамотно регулировать многомерное пространство действий в условиях высокой комплексности задачи. Обучение с использованием курсивной стратегии обеспечивает эффективное усвоение решений в критической области защиты. Тестирование показало, что разработанная система обеспечивает высокую степень атакованности — 92,8%, при сохранении высокой производительности системы — SINR > 13 dB. Это демонстрирует эффективность DRL в сочетании с ISAC для усиления безопасности mmWave-систем.