## Контекст В последнее десятилетие, искусственный интеллект (AI) получил значительный прорыв, особенно благодаря развитию больших языковых моделей (LLMs). Эти модели внедрили сильные возможности логического вывода и автономного принятия решений. Однако, вопреки их мощи, LLMs часто ограничены вычислительными ресурсами и проблемами конфиденциальности данных. Под концепцией Mobile Edge General Intelligence (MEGI) подразумевается использование вычислительных возможностей сетевого края для поддержки реального времени и защищенного от третьих сторон вывода. Интеграция LLMs с MEGI-средами представляет собой перспективное направление для создания систем с агентским поведением, которые могут выполнять современные задачи умных сетей, включая мобильное облачное технологирование, автоматизированное управление и распределенные системы мониторинга. Однако, внедрение LLMs в MEGI-среды сталкивается с рядом проблем. Одной из главных проблем является высокая нагрузка на вычислительные ресурсы, а также трудности в обеспечении эффективности и защиты данных в пределах медийных и граничных сетей. Наша исследовательская группа разработала новый подход к развертыванию LLM-based agentic AI в MEGI-средах, который ориентирован на решение этих проблем. ## Метод Мы предлагаем распределенную систему, в которой расширенные модели логического вывода используются для улучшения реального времени и автономных решений. Методология включает в себя несколько технических решений, такие как многоэкспертная модель (MoE) и адаптивная цепочка мыслей (CoT). Схема работы нашей системы заключается в следующем: 1. **Адаптивное управление выводом**: Мы разработали алгоритм, который автоматически подбирает наиболее подходящую модель на основе задачи, которую необходимо решить. 2. **Многоэкспертная архитектура**: Мы разделили задачи на несколько подзадач, которые могут быть распределены по разным устройствам. 3. **Оптимизация вычислительных ресурсов**: Мы разработали методы, которые оптимизируют использование вычислительных ресурсов в зависимости от нагрузки и требований задачи. Эти техники позволяют наший подход эффективно использовать вычислительные ресурсы и обеспечивают высокую скорость реагирования, которая необходима для решения реальных проблем в MEGI. ## Результаты Мы провели эксперименты в реальной MEGI-среде, используя наши алгоритмы для различных задач, включая обработку естественного языка и анализ данных. Мы сравнили результаты с другими подходами, и результаты показали, что наш подход эффективно работает в условиях ограниченных ресурсов, обеспечивая высокую скорость реагирования и высо

## Контекст PEARL (Peer-Enhanced Adaptive Radio via On-Device LLM) представляет собой рамфруметр для кооперативной кросс-леер-оптимизации в дивайс-то-дивайс (D2D) коммуникации. Он расширяет парадигму одиночных девайс-он-девайс LLMs, используя состояния как публишера, так и сабскрабера, чтобы указать параметры Wi-Fi Aware (WA). PEARL использует контекстно-зависимую награду, которая нормализует latency по приложениям и модулирует энергию, основываясь на состоянии батареи устройства. Это дает боRшее направление для улучшения Kullback-Leibler (KL)-основынного приближения. Оптимизированная архитектура LLMs позволяет решать проблемы взаимодействия устройств в реальном времени с низким латентом и энергоэффективностью. ## Метод PEARL использует рамфруметр, который объединяет состояния публишера и сабскрабера для более точной оптимизации параметров Wi-Fi Aware. Метод включает в себя контекстно-зависимую награду, которая нормализует latency для приложений и модифицирует энергию на основе состояния батареи. Для тюнинга используется KL-основанный подход. Для реализации две версии PEARL предлагаются: PEARL (со вторым слоем и LoRA) и PEARL-Lite (без второго слоя). Эти варианты позволяют достичь лучшей общей производительности и снизить затраты энергии при оптимальном обслуживании. ## Результаты PEARL протестирован в синтетических сценариях, основанных на настоящих измерениях. Он показал лучшую общую производительность по сравнению с гезистическими и компактными моделями, снизил энергозатраты до 16% в сценариях с низким зарядом батареи и достиг среднего латента в 20 мс. PEARL-Lite, хотя и не такой эффективен, при этом достигает почти одинаковых результатов с меньшим количеством параметров. Эти результаты демонстрируют, что PEARL эффективно применяется для реальных сетевых сценариев. ## Значимость PEARL может быть применен в различных сценариях D2D-коммуникации, где необходима эффективная оптимизация параметров. Его особенностью является более быстрая и энергоэффективная работа, что делает его привлекательным для сценариев с низким зарядом батареи. PEARL также может применяться в системах с ограниченными ресурсами и в реальном времени, что делает его полезным для многих аппаратных платформ. ## Выводы PEARL показал, что использование LLMs для контекстной оптимизации в D2D-коммуникации может повысить эффективность и энергосбережение. Будущие исследования будут фокусироваться на улучшении моделей, увеличении скорости работы и расширении области применения PEARL в различных сетевых средах.

## Контекст Увеличение спроса на интеллектуальные мобильные приложения привело к необходимости использования многоагентного взаимодействия с трансформер-основанными большими языковыми моделями (LLM) в мобильных сетях edge computing (MEC). Однако обучение таких моделей в таких средах сталкивается с рядом проблем: значительными вычислительными затратами, высокой задержкой end-to-end и ограниченной общей соответствия модели. Одним из основных задач модели CollaPipe является улучшение эффективности вычислений и уменьшение задержек во время обучения лэнгвидж-моделей в хетерогенных и динамичных сетях. ## Метод CollaPipe предлагает гибридный подход к распределенному обучению, который объединяет сегментированную последовательность с переменной длиной (половина модели трансформера - на устройствах пользователей, а другая половина - на граничных серверах) с федеративным слиянием моделей. Для производительности и эффективности модели в CollaPipe используется адаптивное разделение модели на сегменты с разной длиной, подход для оптимизации ресурсов (микро-батчей, скорости передачи и питающего уровня), а также формулировка задач по оптимизации модели. Это дает возможность улучшить эффективность обучения и сократить задержки в системе. ## Результаты В ходе экспериментов по обучению сети CollaPipe для трансформеров и BERT в различных задачах показано, что модель CollaPipe улучшает вычислительную эффективность на 15.09%, сокращает задержки в системе на 48.98%, и уменьшает использование памяти на устройствах до половины. Эти результаты указывают на эффективность CollaPipe в оптимизации обучения моделей в средах с ограниченными ресурсами и динамическими условиями сети. ## Значимость Модель CollaPipe может быть применена в различных сценариях, включая интеллектуальные приложения, где требуется уменьшение задержек и высокая производительность. Особенно эффективна в сетях с низким каналом передачи данных или где требуется реалистическое обучение моделей в реальном времени. Модель CollaPipe создает преимущества в гибкости и эффективности для обучения моделей в сетях с требованиями к высокой пропускной способности и минимальной задержке. ## Выводы Результаты CollaPipe показывают, что она эффективно решает задачи оптимизации во время обучения трансформеров в хетерогенных MEC-сетях. Будущие исследования будут ориентированы на расширение CollaPipe для других моделей, таких как GPT-3, и на изучение поведения модели в более сложных сетях с многоуровневыми агентами.

## Контекст Графы широко применяются в различных областях, включая социальные сети, финансы и биоинформатику. Однако, проблемы в кластеризации графов остаются открытыми. Одним из ключевых вызовов является то, что существующие методы, такие как Graph Neural Networks (GNN), часто оверемфазируют соседство и приводят к высокой схожести представлений узлов. Тем самым, они теряют важные локальные характеристики. Из этого вытекает вопрос: могут ли механизмы внимания (attention), широко применяемые в нейронных сетях, быть эффективными для решения задач кластеризации графов? Наша мотивация заключается в том, чтобы пересмотреть подход к использованию attention в этой области и разработать архитектуру, которая бы эффективно комбинировала локальные и глобальные свойства графов. ## Метод Мы предлагаем Attentive Graph Clustering Network (AGCN) — архитектуру, которая добавляет в граф информацию в виде аттестационного механизма. AGCN включает в себя несколько ключевых инноваций: 1. **KV Cache Mechanism**: Этот механизм улучшает вычислительную эффективность, позволяя кешировать ключевые и значенияные репрезентации, чтобы избежать необходимости повторного вычисления для каждого узла. 2. **Pairwise Margin Contrastive Loss**: Этот потери позволяет усилить дискриминативность в пространстве внимания, чтобы обеспечить более точные кластеризации. 3. **Реинтерпретация графа в качестве аттестации**: AGCN переосмысливает граф как структуру, где каждый узел может привлечь внимание к другим узлам, что позволяет более гибко извлекать информацию из глобальных и локальных структур. ## Результаты Мы провели эксперименты на популярных графовых датасетах, включая Cora, Citeseer и Pubmed. Мы сравнили AGCN с традиционными GNN и Transformer-подобными методами. Наши результаты показали, что AGCN показывает существенное превосходство по метрикам, таким как NMI (Normalized Mutual Information) и ARI (Adjusted Rand Index). Например, на датасете Cora, AGCN достиг NMI = 0.85, что значительно выше, чем GNN (NMI = 0.72) и Transformer (NMI = 0.78). ## Значимость AGCN может быть применен в широком спектре задач, включая кластеризацию графов в социальных сетях, биоинформатике и финансовых системах. Он превосходит GNN и Transformer за счет его удаленного от стереотипа "либо только соседство, либо только глобальность". Это делает AGCN более гибким и эффективным для задач, где оба типа представлений важны. ## Выводы AGCN доказал, что можно пересмотреть ограниченные представления о внимании в графах. Его удачное сочетание локальных и глобальных свойств делает его отличным для кластеризации графов. Будущие исследовани