## Контекст Одной из важнейших задач в сфере образования является поиск способов побуждать студентов к управлению собственным обучением, устанавливать смысловые цели, отслеживать прогресс и адаптировать стратегии в случае провалов. Удовлетворение этих требований требует создания устойчивой, поддерживающей среды, где ученики могут проходить гуманно ориентированный практический курс и участвовать в коллективном обсуждении. Реализация таких подходов в образовательных процессах становится возможной благодаря применению искусственного интеллекта (AI) в цифровых образовательных средах, таких как обучающие приложения, виртуальные лаборатории и серьезные игры. С появлением продвинутых технологий, таких как большие лингвистические модели (LLM) и нейросимволические системы, возможности для дизайна эффективных AI-систем, моделирующих социальные и учебные поддержки, становятся более широкими. Нейросимволические модели, в частности, предлагают новые возможности для разработки агентов, обладающих как адаптивностью, так и масштабируемостью по разным областям знаний. Наша работа фокусируется на создании расширенного фреймворка, который бы сделал такие системы более универсальными и эффективными в различных образовательных сценариях. ## Метод Мы предлагаем гибридный фреймворк, сочетающий нейросимволическую архитектуру с несколькими специализированными агентами. Основными элементами этого фреймворка являются два взаимодействующих агента: 1. **RL-Based Tutor Agent** — это агент, основанный на распределенном оптимизационном алгоритме, который предоставляет авторитетную, неоральную поддержку, ориентируясь на цели обучения и выполнение заданий. 2. **LLM-Powered Peer Agent** — это агент, основанный на технологии LLMs, который обеспечивает социальную интерактивность, помогая ученикам объяснять свои взгляды, обмениваться опытом и участвовать в диалогах. Помимо этого, фреймворк использует общую образовательную онтологию для синхронизации действий агентов и обеспечения структурированности взаимодействия. Мы применяем этот подход в случае-исследованиях в области обучения на высшем и среднем уровнях, чтобы показать гибкость и эффективность нашего фреймворка. ## Результаты Мы проводим эксперименты в двух средах: на уровне высшего образования и средней школы. Студенты и младшие школьники демонстрируют прирост в уверенности при изучении новых материалов и улучшении своих техник обучения. Мы также измеряем прогресс по задачам и применяем анализ данных для оценки качества поддержки, предоставляемой агентами. Результаты показыва

## Контекст В области мульти-агентного обучения с подкреплением (MARL) важность создания систем, обеспечивающих справедливость и эффективность, несомненна. В работе акцент делается на значимости справедливости в контексте медицинских систем, где необходимо сбалансировать рабочую нагрузку и учитывать уровень экспертизы медицинских работников. В ситуациях, где недостаточно внимания уделяется навыкам и экспертизе, возможны загруженность опытных специалистов и их перегрузка, что может привести к усталости и ухудшению качества услуг. Текущие метрики справедливости часто ориентированы только на равномерное распределение нагрузки, не учитывая уровень навыков и знаний сотрудников. Таким образом, авторы статьи поставили перед собой задачу разработать метод, который учитывал бы взаимосвязь уровня навыков и распределения задач. ## Метод Авторы представили **FairSkillMARL**, рамфреймворк, определяющий справедливость как двойной объектив: равномерное распределение нагрузки и корректное соотнесение навыков и задач. Метод использует методы агентного обучения с подкреплением, чтобы сбалансировать вклад каждого агента, учитывая их экспертизу. Также был разработан **MARLHospital**, полностью настраиваемая среда, которая моделирует работу медицинского коллектива, учитывая знания и энергосбережение. Эта модель позволяет анализировать различные сценарии взаимодействия медицинских работников, включая зависимость задач от уровня их навыков. Эта инновационная модель позволяет лучше понять, как различные стратегии мульти-агентного обучения влияют на справедливость и эффективность в коллективе. ## Результаты Авторы провели эксперименты, сравнивая **FairSkillMARL** с четырьмя стандартными MARL-методами и двумя метриками справедливости. Они показали, что стратегии, основывающиеся только на равномерном распределении задач, могут привести к несоответствию между навыками и задачами, что в свою очередь приводит к ухудшению качества работы. Метод **FairSkillMARL** демонстрирует эффективность в снижении таких несоответствий и способствует созданию более гармоничного распределения нагрузки в зависимости от уровня навыков и экпертизы сотрудников. Это приводит к более эффективной работе коллектива и снижению истощения опытных работников. ## Значимость Предложенный подход имеет широкие применения в сфере медицины, где требуется эффективное и справедливое распределение задач между специалистами. Особенно он важен для ситуаций, где нужна энергосберегающая стратегия и высокий уровень экспертизы, чтобы избежать перегрузки опытных работников. **FairSkillMARL**

## Контекст В последние годы большие языковые модели (LLM) начали широко использоваться в различных областях, включая общение, помощь в решении задач и системы управления. Благодаря их мощи, LLMs могут провести диалоги, выполнять задачи и даже координировать свои действия в рамках многоагентных систем. Однако одной из наиболее важных проблемой в таких системах является доверительные отношения между моделями. Хотя люди часто развивают доверительные отношения друг с другом, существует недостаточно исследований, касающихся способами формирования доверия между LLMs и оценки этого доверия. Это проблема становится еще более актуальной в свете того, что LLMs все чаще используются в командных задачах, где доверие является ключевым фактором успеха. Цель данного исследования — изучить способы строительства доверия между LLMs и разработать методы его измерения. ## Метод Мы разработали архитектуру для изучения и измерения доверия между LLMs. Для этого использовались три основные подхода: 1. **Динамическое строительство отношений доверия**: Модели динамически строят доверие друг к другу в ходе взаимодействия, аналогично тому, как люди формируют отношения в ходе диалогов. 2. **Использование предварительно написанных скриптов**: Мы использовали скрипты, в которых явно происходит доверительное воздействие, чтобы изучить, как модели реагируют на уже сформированные отношения. 3. **Адаптация системных пропусков**: Мы изменяли системные пропуски в моделях, чтобы изменить их поведение в процессе взаимодействия. Для измерения доверия мы применяли два подхода: - **Имплицитные меры**: Мы изучали, насколько модели влияют друг на друга, например, степень убежденности одной модели другой, или степень сотрудничества в финансовых действиях. - **Эксплицитные меры**: Мы применяли тесты, аналогичные психологическим тестам доверия, в которых модели отвечают на вопросы о том, насколько они доверяют друг другу. ## Результаты Мы провели ряд экспериментов, в ходе которых измеряли уровень доверия между моделями. Нашли, что имплицитные меры доверия, такие как убежденность и сотрудничество, часто не соответствуют эксплицитным мерам доверия, которые были измерены с помощью тестов в опросном формате. Например, модели, которые отображали высокий уровень доверия в имплицитных тестах, могли отображать низкий уровень доверия в эксплицитных тестах. Это указывает на то, что LLMs могут иметь разные способности воспринимать доверие в зависимости от контекста и подхода к измерению. ## Значимость Наши результаты имеют значительную значимость в област

#### Контекст В последние годы наблюдается быстрое развитие методов мультиагентного распределенного обучения. Эти методы применяются в различных областях, включая игровые системы, системы управления транспортными системами, робототехнику и другие. Однако наличие конфликтных интересов между агентами часто становится основной проблемой в мультиагентных средах. Большинство существующих алгоритмов, таких как MADDPG (Multi-Agent Deep Deterministic Policy Gradient), стремятся оптимизировать непосредственные свойства агента. Тем не менее, эффективное использование взаимодействия между агентами в сценариях с кооперацией и конкуренцией остается значительной проблемой. Наша мотивация заключается в разработке алгоритма, который не только учитывает конфликты, но и поощряет мотивацию к кооперации. #### Метод Мы предлагаем усовершенствованный алгоритм, который базируется на MADDPG, но включает дополнительный параметр для определения и поощрения кооперативного поведения. Наш алгоритм включает следующие шаги: 1. **Анализ недостатков существующих методов.** Мы проанализировали главные недостатки MADDPG, особенно в ситуациях с конкурентно-кооперативными задачами. 2. **Введение дополнительного параметра.** Мы добавили параметр, который мотивирует агентов привлекать другие агентов к кооперации, увеличивая таким образом значение взаимной награды. 3. **Интеграция в существующую архитектуру.** Мы внедрили этот параметр в архитектуру MADDPG, обеспечивая гармоничное взаимодействие с другими компонентами алгоритма. 4. **Эксперименты в PettingZoo.** Мы проверили наш алгоритм в различных средах из PettingZoo, включая задачи с широким спектром уровней сложности. #### Результаты Мы провели исследования в нескольких средах PettingZoo, включая "Cooperative Communication" и "Predator-Prey". Анализируя результаты, мы установили, что наш алгоритм позволяет агентам достигать выше средних командных наград и индивидуальных наград по сравнению с MADDPG. Обнаружено, что новый параметр способствует более эффективному использованию взаимодействия между агентами, что влечет за собой улучшение эффективности и стабильности работы системы. #### Значимость Наш алгоритм может быть применен в различных областях, включая робототехнику, игровые системы, автоматизированные системы управления. Одним из основных преимуществ является улучшение кооперативного поведения между агентами, что повышает эффективность решения задач в сценариях с конкуренцией и кооперацией. Это может привести к новым возможностям в области роботов-коллег, систем управления транспортом и игр, где

## Контекст Целесообразность (goal-directedness) является ключевым аспектом поведения сложных агентов, определяющим их возможность принимать целесообразные решения и достигать целей. Однако, атрибуция целесообразности может быть затруднена сложностью моделей поведения и неявностью целей в системах, оперирующих разными видами данных. В этой статье рассматриваются две основных подходы к определению целесообразности: поведенческий (behavioral), основывающийся на визуальном анализе поведения, и механистический (mechanistic), который стремится определить цели на базе механизмов внутренних моделей агента. Эти подходы имеют свои ограждения, и каждый из них может заставить нас задаться вопросом, что же такое "целесообразность" и как её можно измерить. Наша цель — изучить существующие проблемы в оценке целесообразности и предложить новые направления исследований в этой области. ## Метод Мы проводили исследования с использованием двух основных методов оценки целесообразности: 1. **Поведенческий подход** — анализ поведения агента в разных ситуациях с помощью метрик, таких как время отклика, корреляция с мерой целесообразности и другие показатели; 2. **Механистический подход** — анализ внутренних моделей агента на наличие целевых структур через методы машинного обучения, таких как анализ внутренних векторов, скрытых состояний, а также модели семантического анализа. Мы использовали системы с разными типами агентов — от простых моделей до развитых сетей глубокого обучения — для проверки различных моделей целесообразности в разных условиях. ## Результаты Наши эксперименты показали, что не существует единого, объективного метода для определения целесообразности. Мы обнаружили, что поведенческий подход часто бывает недостаточно точным, так как не все поведенческие сигналы являются ориентиром на целесообразность. Механистический подход также оказался ограниченным, так как внутренние состояния моделей не всегда отражают цели в понятном для нас виде. Мы также отметили, что агенты с более сложными моделями поведения и более сложными структурами могут проявлять более целесообразное поведение, но это не всегда является явным или измеримым. Мы также выявили ограничения в существующих моделях, которые не учитывают сложность многоагентных систем и взаимодействий. ## Значимость Наши полученные результаты могут быть применены в различных областях, включая робототехнику, игровые системы, медицинские системы и даже в анализ поведения групп действующих субъектов. Одним из основных преимуществ

## Контекст Современное развитие искусственных нейронных сетей (ANN) и больших языковых моделей (LLM) позволило создать агентные системы на основе глубокого обучения (LLM-based multi-agent systems, LaMAS), которые взаимодействуют в различных сферах, включая обработку текста, визуальную информацию и даже управление оборудованием. Однако существующие агентные системы часто являются замкнутыми и несовместимыми, что требует развития новых протоколов для обеспечения универсальной и стабильной платформы интеллектуальных агентов. Одним из новых подходов является Agentic Web (AW) — распределенная архитектура, позволяющая создавать прозрачные и интегрированные системы, но все еще сталкивающаяся с проблемами, такими как защита персональных данных, управление их обменом, а также измерение их ценности. Эти проблемы становятся критичными при масштабировании системы и работе в кросс-доменных средах, что делает нынешние решения неэффективными. Данная работа предлагает развитие инновационного подхода к расширению AW — **BetaWeb**, который использует технологии блокчейна для создания безопасной, универсальной и мотивированной среды для развития агентных систем. ## Метод **BetaWeb** предлагает создать универсальную инфраструктуру, основанную на блокчейне, для хранения и обмена данными между агентами. Блокчейн в этом контексте не только обеспечивает безопасность и неизменяемость данных, но также вводит новую модель мотивации, позволяющую агентам зарабатывать на их работе и участвовать в распределенном процессе принятия решений. В центре BetaWeb лежит универсальная модель контрактов, позволяющая агентам заключать сделки друг с другом и с системами, а также встроиться в уже существующие блокчейн-экосистемы. Для обеспечения высокой производительности и удобства использования разработана специальная архитектура, включающая: - **Децентрализованную сеть данных** для хранения информации о состоянии и действиях агентов. - **Блокчейн-сеть для управления сделками** и обеспечения ценностной модели. - **Протоколы взаимодействия**, позволяющие агентам организовывать коллаборации и выполнять задачи в разных сферах. Более того, предлагается новая модель стимулирования, которая реализуется с помощью публичных и приватных ключей, а также специальных смарт-контрактов, которые обеспечивают мотивацию агентов на основе их потенциального вклада в систему. ## Результаты Для проверки эффективности **BetaWeb**, проведены эксперименты на двух типах стандартных задач: 1. **Синтетические тестовые задачи**, ориентированные на измерение производитель

## Контекст Hierarchical multi-agent systems (HMAS) представляют собой структуры, в которых агенты организованы в сложные, уровневые структуры. Эти системы помогают упростить управление сложностью и масштабом, особенно в сложных системах, таких как сети энергоснабжения или операции в нефтегазовой отрасли. Однако, несмотря на их потенциал, HMAS часто сталкиваются с проблемами, такими как компромиссы между локальной автономией и глобальной эффективностью. Из-за этого возникает необходимость в подробном изучении и стандартизации таких систем, чтобы их можно было эффективно использовать в различных промышленных приложениях. ## Метод Методология, предложенная в работе, основывается на разработке многомерной таксономии для HMAS, которая учитывает пять ключевых аспектов: управление иерархией, поток информации, делегирование ролей и задач, временные слои и структура связи. Данная таксономия не предлагает однозначного "лучшего" подхода, а скорее дает фреймворк для сравнения разных вариантов. Метод также включает в себя исследование конкретных механизмов координации, таких как протокол "договорная сеть" для выделения задач и работы в области глубокого обучения, включая новые разработки в области глубокого обучения и технологий языковых моделей. Эти методы применены к реальным промышленным примерам, таким как энергетические сети и операции в нефтегазовой отрасли, для продемонстрирования практической применимости. ## Результаты В ходе исследования разработана многомерная таксономия, которая позволяет сравнивать различные HMAS по ключевым аспектам. Эксперименты были проведены в промышленных ситуациях, таких как координация в системах энергоснабжения и нефтегазовых операциях. Результаты показали, что иерархическая структура может обеспечивать глобальную эффективность, сохраняя локальную автономию, но только при условии оптимального баланса между различными факторами, такими как временная сложность и структура связи. Также были выявлены некоторые открытые вопросы, такие как необходимость развития методов объяснения решений, увеличения масштаба для больших систем и интеграции новых технологий, таких как языковые модели. ## Значимость Разработанная таксономия может быть применена в различных промышленных системах, включая энергетику, нефтегазовую отрасль, системы распределенного управления и другие. Она предлагает преимущества в управлении сложностью и эффективности, а также может повысить гибкость и масштабируемость систем. В будущем, эта работа может вдохновить развитие новых систем, основан

## Контекст LLM-based multi-agent systems представляют собой мощные инструменты для решения задач, требующих сложных коллаборативных процессов. Однако они часто сталкиваются с проблемами, такими как избыточная коммуникация и высокий потребление токенов, что снижает их эффективность. На сегодняшний день, большинство методов, нацеленных на улучшение эффективности, основываются на применении глубокого обучения, в том числе графных нейронных сетей (GNN) или жадных алгоритмов. Тем не менее, эти подходы часто изолируют этапы предобучения и оптимизации задачи, не предлагая универсального решения. Данная работа адресована этой проблеме, предлагая новую адаптивную и прогрессивную многоагентную оптимизацию, которая стремится объединить преимущества инициализации на основе LLM и улучшения на основе опыта в процессе работы. ## Метод Метод SafeSieve основывается на двух основных компонентах: ин INITIAL EVALUATION и ADAPTIVE REFINEMENT. В первой фазе (INITIAL EVALUATION), LLM оценивает семантическое содержание сообщений между агентами, чтобы инициировать интерпретацию и оценку связей. Во второй фазе (ADAPTIVE REFINEMENT), полученные данные об использовании ресурсов и результатах исполнения задач используются для динамического уточнения связей между агентами. Особенно важным является использование 0-extension clustering, которая позволяет сохранить структуру команды и удалить ненужные связи без снижения коэффициента корреляции. Этот подход преодолевает ограничения жадных greedy-методов, обеспечивая более гармоничную оптимизацию. ## Результаты Проведенные эксперименты показали, что SafeSieve демонстрирует высокую эффективность и надежность в нескольких задачах, включая SVAMP и HumanEval. На этих бенчмарках, SafeSieve показал среднюю точность 94.01%, при этом снизив потребление токенов на 12.4%-27.8%. Благодаря своей адаптивной природе, SafeSieve продемонстрировал свою отказоустойчивость при работе с атаками типа prompt injection, где потерь только 1.23% в среднем. Также, в условиях неоднородных наборов данных (heterogeneous settings), SafeSieve существенно сократил затраты на развёртывание системы на 13.3%, при этом сохранив высокую производительность. ## Значимость SafeSieve представляет собой обширные возможности для применения в различных областях, где необходима эффективная коллаборативная работа многоагентных систем, таких как моделирование сложных систем, системы управления и контроля, а также системы мониторинга и анализа. Благодаря своему инновационному подходу, SafeSieve предоставляет выигрыш в эффективности и надежности, что делает его привлекательным для реального применения в практических системах. ## Выводы SafeSieve представляет собой крупный ша

#### Контекст Современные искусственные интеллектуальные системы (AI agents) представляют собой сложные системы, которые способны переменоваться, учиться и действовать в различных сложных средах. Они превратились из простых, правил-ориентированных программ в современные системы, использующие глубокое обучение (deep learning), усиленное обучение (reinforcement learning) и методы многоагентного взаимодействия. Несмотря на то, что эти технологии позволяют AI agents выполнять сложные задачи, создание универсальных AI agents, где взаимодействуют решение, планирование и взаимодействие, остается вызовом. Эта статья посвящена изучению основных принципов, моделей и парадигм, которые способствуют развитию AI agents, а также их использования в реальных ситуациях. #### Метод В статье используется систематический подход к изучению архитектур, компонентов и парадигм AI agents. Был проведен анализ современных моделей, включая модели вдохновленные искусственной интеллектуальной моделью (cognitive science-inspired models), расширенные резервирующие решения (hierarchical reinforcement learning frameworks) и модели базированные на больших языковых моделях (large language model-based reasoning). Был осуществлен анализ технологий вычислений, которые позволяют AI agents решать задачи, взаимодействуя с системами и пользователями. Особое внимание уделяется архитектуре и методам, позволяющим AI agents оптимально решать задачи в разных сценариях. #### Результаты Для анализа использовались различные эксперименты, включая моделирование AI agents в различных ситуациях, таких как обнаружение объектов, решение задач планирования, взаимодействие с пользователями. Использовались данные, полученные из реальных ситуаций, таких как обработка данных в интеллектуальных системах, решение задач планирования как в средах с многими участниками. Результаты показывают, что AI agents способны выполнять сложные задачи с высокой точностью, но в то же время существуют проблемы, такие как неполная интерпретируемость, безопасность и эффективность в реальных ситуациях. #### Значимость AI agents имеют широкое применение в различных областях, включая здравоохранение, финансы, производство, транспорт и многие другие. Они могут повысить эффективность, сократить затраты и улучшить качество услуг. Основное преимущество AI agents заключается в их универсальности, гибкости и умении решать сложные задачи. Тем не менее, возникают проблемы, такие как недостаточная интерпретация решений, отсутствие безопасности и надежности. Будущие исследования будут сфокусированы на улучшении этих аспектов и развитии AI agents, которые будут более безопасными, эффективными и интерпретируемыми. #### Выводы В ходе этого обзора были подробно расс

## Контекст Современные многоагентные системы на основе искусственного интеллекта (AI) широко применяются в различных областях, от производственных процессов до систем управления трафиком. Однако управление такими системами часто сталкивается с проблемами, связанными с характером исполнения задач, специализацией агентов и их взаимодействием. Эти особенности часто приводят к несогласованности и неэффективности в работе системы. Изучение синхронизационных динамик в таких системах может помочь в понимании и улучшении их работы. Базируясь на топологии связей между агентами и их индивидуальных особенностях, можно разработать более эффективные стратегии для управления такими системами. ## Метод Мы предлагаем инновационный подход, который использует теорию синхронизации и модели Kuramoto для описания динамики связанных AI-агентов. В модели каждый агент представлен как специализированный осциллятор, где как фазовые, так и амплитудные динамики имеют ключевое значение. Мы также вводим показатель порядка для оценки степени синхронизации. Это позволяет изучать влияние связности сети, специализации агентов и их взаимодействия на синхронизацию. Особое внимание уделяется моделированию типа Chain-of-Thought, которая интерпретируется как синхронизационные явления. Моделирование проводится на сетях все-в-все и детерминированных сетях типа Scale-Free. ## Результаты Мы провели эксперименты, показав, что увеличение связности в системе приводит к улучшению синхронизации, даже в условиях высокой специализации и разнообразия агентов. Модель показала, что синхронизация становится более стабильной при увеличении силы взаимодействия между агентами. Мы также показали, что модель Chain-of-Thought может быть адекватно описана с помощью синхронизационных моделей, что устанавливает сильную связь между итеративным проблематическим решением и выработкой группового интеллекта. ## Значимость Наша модель имеет значимые приложения в разработке многоагентных систем, в которых необходимо учесть специализацию агентов и сложные задачи. Мы предлагаем новый метод для оценки и оптимизации синхронизации в таких системах. Это может привести к более эффективному управлению многоагентными системами в сложных средах. Будущим направлением исследований могут стать интеграция механизмов самообучения и адаптивных сетевых архитектур, чтобы улучшить динамическую стойкость и эффективность таких систем. ## Выводы Мы разработали инновационный физико-информированный подход для описания динамики связанных AI-агентов. Наши результаты показывают, что