## Контекст В последние годы нейронные сети достигли выдающихся результатов в многих задачах, что привело к их использованию в автономных системах, таких как роботы и транспортные средства. Тем не менее, нейронные сети до сих пор недостоверны и чувствительны к различным видам неожиданного поведения, таким как аномальные выборки, изменения распределения, атаки адверсарного характера и другие угрозы. Более того, среды ускорения инференса нейронных сетей часто работают на богатых операционных системах, которые не могут гарантировать определенные свойства времени выполнения и достаточную безопасность. Таким образом, есть необходимость в разработке архитектур, которые могут обеспечить более высокий уровень безопасности, безошибочности и предсказуемости для таких систем. ## Метод Предлагаемая архитектура, названная Simplex, основывается на двух раздельных изолированных доменах, выполняющихся на одной вычислительной платформе. Первый домен отвечает за выполнение нейронных сетей на богатой операционной системе, которая не является достоверной. Второй домен отвечает за выполнение критичных для безопасности функций на более простой операционной системе, которая может обеспечить реальное время. Оба домена соединены с помощью типа-1 гипервизора, который обеспечивает быструю и предсказуемую связь между ними для обмена реального времени данными. Если нейронная сеть в первом домене возвращает недостоверный результат, то второй домен может активировать безопасный резервный модуль для поддержания системы в оперативном режиме. ## Результаты Набор экспериментов, проведенных на двух разных системах управления, подтвердил хорошую работу прототипа Simplex. Одним из экспериментов был контроль робота Furuta, который показал, что модель Simplex может предотвратить некорректное поведение нейронной сети. Второй эксперимент был проведен с ровером, в результате которого показано, что Simplex может обеспечить безопасность транспортных средств в случае неустойчивости нейронных сетей. Таким образом, прототип Simplex доказал свою эффективность в обеспечении безопасности во время исполнения нейронных сетей. ## Значимость Этот подход может быть применен в различных областях, включая автономные транспортные системы, роботы, медицинские устройства и другие системы, где требуется высокая безопасность и надежность. Он обеспечивает большую надежность и безошибочность системы, а также может уменьшить риск повреждения или потери жизни в результате неуправляемого поведения нейронных сетей. Благодаря улучшению безопасности и безошибочности, Simplex является перспективным

## Контекст Увеличение спроса на интеллектуальные мобильные приложения привело к необходимости использования многоагентного взаимодействия с трансформер-основанными большими языковыми моделями (LLM) в мобильных сетях edge computing (MEC). Однако обучение таких моделей в таких средах сталкивается с рядом проблем: значительными вычислительными затратами, высокой задержкой end-to-end и ограниченной общей соответствия модели. Одним из основных задач модели CollaPipe является улучшение эффективности вычислений и уменьшение задержек во время обучения лэнгвидж-моделей в хетерогенных и динамичных сетях. ## Метод CollaPipe предлагает гибридный подход к распределенному обучению, который объединяет сегментированную последовательность с переменной длиной (половина модели трансформера - на устройствах пользователей, а другая половина - на граничных серверах) с федеративным слиянием моделей. Для производительности и эффективности модели в CollaPipe используется адаптивное разделение модели на сегменты с разной длиной, подход для оптимизации ресурсов (микро-батчей, скорости передачи и питающего уровня), а также формулировка задач по оптимизации модели. Это дает возможность улучшить эффективность обучения и сократить задержки в системе. ## Результаты В ходе экспериментов по обучению сети CollaPipe для трансформеров и BERT в различных задачах показано, что модель CollaPipe улучшает вычислительную эффективность на 15.09%, сокращает задержки в системе на 48.98%, и уменьшает использование памяти на устройствах до половины. Эти результаты указывают на эффективность CollaPipe в оптимизации обучения моделей в средах с ограниченными ресурсами и динамическими условиями сети. ## Значимость Модель CollaPipe может быть применена в различных сценариях, включая интеллектуальные приложения, где требуется уменьшение задержек и высокая производительность. Особенно эффективна в сетях с низким каналом передачи данных или где требуется реалистическое обучение моделей в реальном времени. Модель CollaPipe создает преимущества в гибкости и эффективности для обучения моделей в сетях с требованиями к высокой пропускной способности и минимальной задержке. ## Выводы Результаты CollaPipe показывают, что она эффективно решает задачи оптимизации во время обучения трансформеров в хетерогенных MEC-сетях. Будущие исследования будут ориентированы на расширение CollaPipe для других моделей, таких как GPT-3, и на изучение поведения модели в более сложных сетях с многоуровневыми агентами.