## Контекст PEARL (Peer-Enhanced Adaptive Radio via On-Device LLM) представляет собой рамфруметр для кооперативной кросс-леер-оптимизации в дивайс-то-дивайс (D2D) коммуникации. Он расширяет парадигму одиночных девайс-он-девайс LLMs, используя состояния как публишера, так и сабскрабера, чтобы указать параметры Wi-Fi Aware (WA). PEARL использует контекстно-зависимую награду, которая нормализует latency по приложениям и модулирует энергию, основываясь на состоянии батареи устройства. Это дает боRшее направление для улучшения Kullback-Leibler (KL)-основынного приближения. Оптимизированная архитектура LLMs позволяет решать проблемы взаимодействия устройств в реальном времени с низким латентом и энергоэффективностью. ## Метод PEARL использует рамфруметр, который объединяет состояния публишера и сабскрабера для более точной оптимизации параметров Wi-Fi Aware. Метод включает в себя контекстно-зависимую награду, которая нормализует latency для приложений и модифицирует энергию на основе состояния батареи. Для тюнинга используется KL-основанный подход. Для реализации две версии PEARL предлагаются: PEARL (со вторым слоем и LoRA) и PEARL-Lite (без второго слоя). Эти варианты позволяют достичь лучшей общей производительности и снизить затраты энергии при оптимальном обслуживании. ## Результаты PEARL протестирован в синтетических сценариях, основанных на настоящих измерениях. Он показал лучшую общую производительность по сравнению с гезистическими и компактными моделями, снизил энергозатраты до 16% в сценариях с низким зарядом батареи и достиг среднего латента в 20 мс. PEARL-Lite, хотя и не такой эффективен, при этом достигает почти одинаковых результатов с меньшим количеством параметров. Эти результаты демонстрируют, что PEARL эффективно применяется для реальных сетевых сценариев. ## Значимость PEARL может быть применен в различных сценариях D2D-коммуникации, где необходима эффективная оптимизация параметров. Его особенностью является более быстрая и энергоэффективная работа, что делает его привлекательным для сценариев с низким зарядом батареи. PEARL также может применяться в системах с ограниченными ресурсами и в реальном времени, что делает его полезным для многих аппаратных платформ. ## Выводы PEARL показал, что использование LLMs для контекстной оптимизации в D2D-коммуникации может повысить эффективность и энергосбережение. Будущие исследования будут фокусироваться на улучшении моделей, увеличении скорости работы и расширении области применения PEARL в различных сетевых средах.

## Контекст Графы широко применяются в различных областях, включая социальные сети, финансы и биоинформатику. Однако, проблемы в кластеризации графов остаются открытыми. Одним из ключевых вызовов является то, что существующие методы, такие как Graph Neural Networks (GNN), часто оверемфазируют соседство и приводят к высокой схожести представлений узлов. Тем самым, они теряют важные локальные характеристики. Из этого вытекает вопрос: могут ли механизмы внимания (attention), широко применяемые в нейронных сетях, быть эффективными для решения задач кластеризации графов? Наша мотивация заключается в том, чтобы пересмотреть подход к использованию attention в этой области и разработать архитектуру, которая бы эффективно комбинировала локальные и глобальные свойства графов. ## Метод Мы предлагаем Attentive Graph Clustering Network (AGCN) — архитектуру, которая добавляет в граф информацию в виде аттестационного механизма. AGCN включает в себя несколько ключевых инноваций: 1. **KV Cache Mechanism**: Этот механизм улучшает вычислительную эффективность, позволяя кешировать ключевые и значенияные репрезентации, чтобы избежать необходимости повторного вычисления для каждого узла. 2. **Pairwise Margin Contrastive Loss**: Этот потери позволяет усилить дискриминативность в пространстве внимания, чтобы обеспечить более точные кластеризации. 3. **Реинтерпретация графа в качестве аттестации**: AGCN переосмысливает граф как структуру, где каждый узел может привлечь внимание к другим узлам, что позволяет более гибко извлекать информацию из глобальных и локальных структур. ## Результаты Мы провели эксперименты на популярных графовых датасетах, включая Cora, Citeseer и Pubmed. Мы сравнили AGCN с традиционными GNN и Transformer-подобными методами. Наши результаты показали, что AGCN показывает существенное превосходство по метрикам, таким как NMI (Normalized Mutual Information) и ARI (Adjusted Rand Index). Например, на датасете Cora, AGCN достиг NMI = 0.85, что значительно выше, чем GNN (NMI = 0.72) и Transformer (NMI = 0.78). ## Значимость AGCN может быть применен в широком спектре задач, включая кластеризацию графов в социальных сетях, биоинформатике и финансовых системах. Он превосходит GNN и Transformer за счет его удаленного от стереотипа "либо только соседство, либо только глобальность". Это делает AGCN более гибким и эффективным для задач, где оба типа представлений важны. ## Выводы AGCN доказал, что можно пересмотреть ограниченные представления о внимании в графах. Его удачное сочетание локальных и глобальных свойств делает его отличным для кластеризации графов. Будущие исследовани

#### Контекст Область исследования — reinforcement learning (RL) в нестационарных средах, где изменение динамики и вознаграждений нестабильные средищи в предыдущие опыты. Это создает трудности для традиционных методов опытного реплея (ER), включая приоритезацию на основе TD-error, которые не могут отличать изменения, вызванные политикой агента, и изменениями в самой среде. Такая неоднородность приводит к эффективности узкой эр. Для решения этой проблемы необходимо развитие подходов, которые были бы более эффективными в понимании изменений среды и приемлемыми в транзитных процессах. #### Метод Мы предлагаем Discrepancy of Environment Dynamics (DoE) — метрику, которая изолирует влияние изменений среды на value functions. На основе этой метрики разработан Discrepancy of Environment Prioritized Experience Replay (DEER) — адаптивный ER-фреймворк, который приоритизирует транзакции, учитывая как политические обновления, так и изменения в среде. DEER включает в себя бинарный классификатор для обнаружения изменений среды и применяет различные стратегии приоритезации перед и после каждого изменения. Это позволяет эффективно реагировать на изменения в среде и оптимизировать обучение. #### Результаты Мы провели эксперименты на четырёх бенчмарках нестационарных сред. Использовались данные, представляющие различные условия нестационарности. Результаты показали, что DEER улучшает производительность off-policy алгоритмов на 11,54% по сравнению с лучшими современными ER-методами. Эти результаты указывают на эффективность DEER в уменьшении неэффективности обучения в нестационарных условиях. #### Значимость DEER может применяться в различных технологических областях, где нестационарные условия являются природной частью процессов — например, в развитии систем управления, систем самообучения и прогнозирования. Главное преимущество DEER заключается в более эффективном использовании примеров в условиях нестабильности, что может привести к более быстрому и точному обучению алгоритмов RL. Дальнейшие исследования могут обобщить DEER на более широкие классы задач и сред. #### Выводы Мы разработали Discrepancy of Environment Prioritized Experience Replay (DEER) — метод, который эффективно распознает и адаптируется к изменениям в среде в нестационарных условиях. Эксперименты показали, что DEER повышает эффективность обучения на 11,54% по сравнению с текущими методами. Будущие исследования будут направлены на расширение DEER для более широких классов задач и окружений.

## Контекст Edge computing системы представляют собой распределенные среды, где несколько устройств должны принимать скоростные решения в реальном времени, используя ограниченные ресурсы, такие как сетевое пространство и вычислительная мощность. Эти системы часто сталкиваются с проблемами, такими как неопределенность в сетевом трафике, конфликты за ресурсами и нехватка вычислительного времени. Одной из ключевых задач в таких системах является "offloading" — перенос задач с ограниченного устройства на более мощный сервер. Однако эффективное решение этой задачи требует координации множества агентов, чтобы избежать конфликтов и оптимизировать использование ресурсов. Существующие методы логических решений часто либо централизованны, либо требуют частого обмена информацией, что неэффективно в условиях ограниченности сетевого трафика и неопределенности. ## Метод Мы предлагаем уникальный подход к решению данной проблемы, основанный на многоагентном управлении подкреплением (MARL). Наша модель основывается на конструкции децентрализованного фреймворка, в котором каждый агент решает собственный задачу оптимизации — строго ограниченную задачу марковского решения (CMDP). Агенты обмениваются информацией только через связь с контроллером, который обновляет ограничения в CMDP на основе глобальных целей системы. Это позволяет агентам заботиться о собственных локальных целях, не теряя глобальную координацию. Такой подход значительно сокращает объем сетевой информации, требуемую для обмена, и позволяет системе работать даже при нестабильном соединении. Мы также применяем методы безопасного многоагентного обучения для того, чтобы гарантировать, что каждый агент будет работать в пределах безопасного диапазона действий. ## Результаты Мы проводили эксперименты в симуляторе для оценки производительности нашего метода в параллельном оффлоадинге. Мы сравнивали наш метод с двумя базовыми системами: централизованным методом, где все решения принимаются одним регулятором, и независимым методом, где каждый агент решает задачу независимо, независимо от других. Наши результаты показали, что многоагентный подход дает значительное улучшение во времени отклика и эффективности использования ресурсов по сравнению с централизованным подходом. Особенно заметно это в больших системах с высокой неопределенностью. Мы также проверяли нашу модель в условиях малого обновления ограничений, и она показала высокую устойчивость и точность. ## Значимость Наш подход может быть применен в различных областях, где требуется эффективное управление рес

#### Контекст Современные нейронные сети становятся все более сложными, что создает значительные вызовы для их развертывания в распределенных машинных обучении (ML), особенно на устройствах с ограниченными ресурсами, таких как федеративное обучение (FL). Одним из таких подходов является **Split Learning (SL)**, который позволяет разделить вычислительную нагрузку между устройствами. Однако, при увеличении количества участников, весьма значительной является задержка, вызванная трансмиссией объектов и промежуточных данных (smashed data), включая активации и градиенты. Таким образом, необходимо разработать эффективный подход к сжатию данных, чтобы ускорить обучение моделей. #### Метод **SL-ACC** — это разработанная система, которая состоит из двух ключевых компонентов: **Adaptive Channel Importance Identification (ACII)** и **Channel Grouping Compression (CGC)**. ACII использует **Shannon entropy** для определения вклада каждого канала смашенных данных в процесс обучения. Затем, CGC группирует графические каналы с помощью алгоритма энтропии и применяет **group-wise adaptive compression** (групповое сжатие с адаптивностью) для сокращения объема передаваемых данных, не влияя на точность модели. Эта архитектура разработана для максимального эффективности в сжатии данных и уменьшения задержек в процессе обучения. #### Результаты Выполнены обширные эксперименты с помощью различных данных, включая MNIST, CIFAR-10, и CIFAR-100. Результаты показали, что **SL-ACC** значительно сокращает время, необходимое для достижения целевой точности, в сравнении с современными фреймворками. Эксперименты показали, что адаптивность ACII и CGC позволяет эффективно сжимать данные без потери качества обучения. Например, в сравнении с другими методами, **SL-ACC** относительно быстро достигает 90% точности, что делает его эффективным для распределенных ML-систем. #### Значимость **SL-ACC** может применяться в различных областях, включая медицину, транспорт, и ИИ для устройств с ограниченными ресурсами. Он обеспечивает значительное улучшение производительности в сравнении с другими методами сжатия. Одним из основных преимуществ является эффективное сжатие данных без потери точности, что делает его привлекательным для обучения моделей в реальном времени. Будущие исследования могут сфокусироваться на расширении фреймворка для различных типов нейронных сетей и улучшении его эффективности в разных условиях сетевых узколей. #### Выводы **SL-ACC** позволяет эффективно группировать каналы и адаптивно сжимать данные в рамках распределенного обучения. Он предлагает значительное улучшение в скорости и качестве обучения, что делает его привлекательным для распределенных систем, включая FL. Дальнейшие ис

## Контекст Federated fine-tuning (FFT) является продвинутой методологией для адаптации фундаментальных моделей (FMs) к различным задачам в динамичных окружениях, таких как Интернет вещей (IoT), Интернет вещей на автомобилях (IoV) и др. Однако в IoV-сетях, где присутствуют узкие места, такие как мобильность клиентов, различия в ресурсах, нестабильность сетевого подключения, создается сложная задача для эффективной и низкозамедлительной адаптации моделей к новым задачам. Для решения этой проблемы необходимо разработать алгоритм, который учитывает эти ограничения и обеспечивает эффективное использование ресурсов во время адаптации. Таким образом, целью этой работы является разработка методологии, которая адаптирует модели в сетях IoV с учетом энергосберегающих, мобильных и многозадачных аспектов. ## Метод Мы предлагаем **двухуровневый федеративный подход** для адаптации моделей в IoV-сетях. Центральным концептом является **Low-Rank Adaptation (LoRA)**, которая позволяет изменять модель с минимальным потреблением ресурсов. Для оптимизации энергопотребления и мобильности вводится **децентрализованная механика адаптации ранга**, основанная на многократном исследовании (UCB-DUAL). Эта методика оптимизирует выбор ресурсов для каждой задачи в зависимости от её важности и доступности ресурсов. Для построения реального сценария IoV используются реальные траектории движения и характеристики сети. Наша архитектура включает в себя координацию между **roadside units (RSUs)** и **moving vehicles**, чтобы максимально эффективно распределить ресурсы и обеспечить стабильность в задачах многозадачного обучения. ## Результаты Мы проводили эксперименты на построенном симуляторе IoV, основанном на реальных данных. Исследовались различные сценарии с участием RSUs и мобильных устройств, включая различные уровни загрузки и сетевых помех. Результаты показали, что наш метод **повышает точность адаптированных моделей на 2,5%**, а также **уменьшает задержки на 24%** по сравнению с основными базовыми методами. Более того, наша алгоритмическая стратегия **LoRA с UCB-DUAL** демонстрирует лучшую энергоэффективность и выжимает ресурсы в сценариях с узкими маржами. Эти результаты подтверждают эффективность нашего подхода в условиях динамических сетей IoV. ## Значимость Предложенная методология может быть применена в различных сценариях **для поддержки адаптивных сетей в IoV**, включая сегментацию трафика, адаптивное управление трафиком и системы безопасности в рамках Интернета вещей. Этот подход позволяет значительно **улучшить эффек