## Контекст Появление больших языковых моделей (LLMs), таких как GPT-3, проявило важное парадигменное переложение в машинном обучении. Обученные на огромных корпусах данных, они достигли выдающихся результатов в области языкового понимания, генерирования текста, сводки информации и логического рассуждения. Это полностью изменило способ обработки и взаимодействия с человеческим языком. Однако, несмотря на свою недавний первобытность, этот направление уже приобретает новое развитие в виде моделей, обладающих более общими характеристиками. Многомерные, многозадачные фондаментальные модели (M3T FMs) представляют собой новый класс систем, которые могут обрабатывать широкий спектр типов данных, включая временные ряды, аудио, изображения, табличные данные и неструктурированные журналы. Эти модели также бывают независимыми от задачи и могут выполнять такие задачи, как прогнозирование, классификация, управление и поиск. Когда эти модели интегрируются с федеративным обучением (FL), они образуют класс новых моделей, называемых M3T Federated Foundation Models (FedFMs). Это высоконаучная и еще низкая изученная область, предлагающая возможность строить высокоэффективные модели, обучаемые в распределенной среде с сохранением приватности данных. В данной работе мы привносим новый взгляд на развитие этих моделей, сфокусировавшись на их применении в области управления энергосистемами. ## Метод Методология разработки FedFMs включает в себя несколько ключевых элементов. Вначале, на модели применяется метод федеративного обучения, позволяющий обучать модель на данных, распределенных по независимым узлам, не требуя централизованного доступа к информации. Это гарантирует высокую защиту приватности данных и уменьшает риск несанкционированного доступа. Далее, FedFMs обучаются на многомерных данных, включая временные ряды, изображения, табличные данные и другие типы данных, которые могут возникать в системе управления энергосистемами. Архитектура FedFMs основана на технологиях глубокого обучения, начиная с моделей типа Transformer, и заканчивая сложными архитектурами, поддерживающими многозадачность и многомодальность. Такие модели созданы для того, чтобы обеспечивать высокую точность в задачах, таких как прогнозирование теплового запроса, детекция аномалий и управление тепловым энергопотоком. Также, FedFMs включают в себя разработку методов для оптимизации обучения, включая снижение вычислительных затрат и повышение скорости обучения. ## Результаты Для проверки моделей FedFMs, мы провели ряд экспериментов в среде управления энергосистемами. Мы использовали реа

## Контекст Водоснабжение городов и регионов — ключевая инфраструктурная система, требующая постоянного мониторинга и управления. Одной из самых критических проблем в таких системах является обнаружение и локализация утечек воды. Утечки приводят к потере ресурсов, негативно сказываются на экологии и могут привести к экономическим потерям. Несмотря на существующие методы локализации утечек, такие как методы линейной и нелинейной интерполяции, они часто лишаются точности в условиях реальных сетей и имеют ограниченную способность объединять данные от различных датчиков. Мотивация для настоящего исследования заключается в разработке эффективного, высокоточного и универсального подхода к локализации утечек, использующему новые методы оптимизации. ## Метод Предлагаемый подход основывается на факторной оптимизации графов. Основной идеей является разработка конкретных факторов, отражающих характеристики водоснабжения, таких как давление и спрос. Для локализации утечек вводится новая архитектура, состоящая из двух факторных графов: (1) граф для оценки сети в условиях отсутствия утечек и (2) граф для локализации утечек. Эта архитектура позволяет обновлять не только текущую сетевую модель, но и ее историю в прошлом. Технические решения включают интеграцию датчиков давления и спроса, а также использование оптимизационных методов для решения сложных задач локализации. ## Результаты Эксперименты проводились на данных сетей Modena, L-TOWN и синтетических сетях. Результаты показали, что факторные графы оказались значительно быстрее в вычислениях по сравнению с нелинейным гауссовским фильтром (UKF). Кроме того, факторные графы показали улучшение точности локализации утечек в сравнении с другими существующими методами. Это достигнуто благодаря совместному использованию давления и спроса, а также способности метода обновлять все состояния в сети в прошлом. Эти результаты доступны в репозитории GitHub по адресу https://github.com/pirofti/FGLL. ## Значимость Факторные графы могут быть применены в различных сценариях, включая мониторинг и управление водоснабжением, а также другие инфраструктурные системы, где необходима точная локализация неисправностей. Основное преимущество — высокая скорость и точность работы, способность обрабатывать большие объемы данных и объединять различные рабочие модели. Этот подход может существенно улучшить эффективность управления водоснабжением и снизить экономические и экологические потери. ## Выводы Настоящая ра

#### Контекст Биопроцессы, особенно те, что проводятся в открытых фотобиореакторах (PBR), сталкиваются с большими сложностями в поддержании стабильных и оптимальных условий. Это связано с тем, что производственные системы, основанные на живых клетках, чувствительны к внешним факторам, таким как температура, освещение и водородный потенциал. Эти внешние факторы, зачастую непредсказуемы, приводят к нестабильности процесса и снижению продуктивности. Настоящая работа адресует эту проблему, предлагая инновационный подход, объединяющий методы учения по примеру (behavior cloning) и усовершенствованные методы управления с помощью усиленного обучения (reinforcement learning, RL). #### Метод Разработанная методика включает две фазы: оффлайн-обучение и онлайн-файнтюнинг. В первой фазе RL-агент обучается на основе путей, сгенерированных традиционным контроллером PID. Это позволяет агенту учиться без непосредственного взаимодействия с реальным PBR. Во второй фазе, проводимая ежедневно, RL-агент адаптируется к изменениям в процессе, используя данные, собранные за предыдущий день. Этот гибкий подход позволяет агенту корректно реагировать на ненормальные состояния и быстрые динамические изменения. Такой гибридный подход обеспечивает лучшую устойчивость и эффективность управления в открытых PBR. #### Результаты Эксперименты показали, что использование совместного подхода RL с behavior cloning приводит к существенному улучшению метрик качества регулирования. Так, Интегральная Абсолютная Ошибка (IAE) уменьшилась на 8% по сравнению с традиционным PID-контроллером и на 5% по сравнению с стандартной безразмерной RL-стратегией. Более того, уменьшился количество операционных действий (control effort), что позволило снизить расходы на эксплуатацию процесса. Эксперименты проведены в реальных условиях предприятия в течение 8 дней, подтвердив робастность и надежность предложенного подхода к реальному выполнению биопроцесса. #### Значимость Предложенный подход имеет широкие применения в сфере биотехнологий и запирательного производства. Он позволяет уменьшить расходы на эксплуатацию биопроцессов, обеспечить стабильность производственных условий и повысить производительность. Это первый пример применения методов RL в регулировании биопроцесса, что открывает новые перспективы для применения умных технологий в агробиотехнологиях. #### Выводы Результаты экспериментов подтвердили эффективность и надежность использования RL-методов в управлении биопроцессами. Будущими направлениями исследований будет исследование возможности применения этих методов

## КОНТЕКСТ И ПРОБЛЕМАТИКА Гибридные электромобили (HEV) становятся важным элементом стратегии декарбонизации грузового транспорта, особенно в сегменте тяжелых грузовиков. Однако эффективное управление энергопотреблением в таких системах представляет собой сложную задачу, требующую одновременного учета множества переменных: текущего состояния батареи, мощностных характеристик двигателя, условий движения и продолжительности маршрута. Традиционные методы управления, основанные на правилах или оптимизации в реальном времени, часто не обеспечивают оптимальный баланс между экономией топлива и сохранением заряда батареи для длительных поездок. Проблема усложняется тем, что в серийной архитектуре HEV двигатель внутреннего сгорания (ДВС) не напрямую приводит колеса, а работает как генератор, заряжая батарею и/или питая электродвигатель. Это создает дополнительные степени свободы в управлении, но также увеличивает пространство возможных стратегий управления. Существующие подходы, включая динамическое программирование (DP), обеспечивают теоретически оптимальные решения, но требуют полного знания будущего цикла вождения и не применимы в реальных условиях. Авторы статьи выделяют ключевую проблему: большинство существующих систем управления не учитывают последовательную природу задачи и временные зависимости между решениями. Текущие методы обучения с подкреплением (RL) часто используют нейронные сети прямого распространения (FFN), которые рассматривают каждое состояние независимо, теряя важную информацию о контексте предыдущих состояний и действий. Это особенно критично для тяжелых грузовиков, где решения о включении ДВС имеют длительные последствия из-за большой инерционности системы. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения проблемы авторы предлагают новую архитектуру RL-агента на базе алгоритма Soft Actor-Critic (SAC), специально адаптированного для учета последовательной природы задачи управления энергопотоками в серийных HEV. Ключевой инновацией является интеграция механизмов памяти в обе сети актора и критика, что позволяет агенту учитывать историю состояний и действий при принятии решений. Архитектура предлагает три варианта реализации: первый использует в акторе Decision Transformer (DT) - трансформерную архитектуру, способную моделировать сложные длинные зависимости в последовательностях, и в критике - Gated Recurrent Units (GRU) для эффективного захвата среднесрочных временных паттернов. Второй вариант применяет GRU в обеих сетях, обеспечивая более компактную модель с сохранением способности к учету временных зависимостей. Третий вариант служит базовым, используя традиционные FFN-сети для сравнения эффективности. Методология включает несколько ключевых компонентов: формальную постановку задачи как процесса принятия последовательных решений в частично наблюдаемой среде, разработку специальной функции вознаграждения, балансирующей между топливной экономичностью и поддержанием заряда батареи, и механизм обучения с учетом различных начальных условий и сценариев вождения. Авторы также вводят концепцию "последовательного планирования", где агент не только реагирует на текущее состояние, но и прогнозирует последствия своих действий в контексте предполагаемого будущего цикла движения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Экспериментальная кампания была направлена на всестороннюю оценку предложенных методов по трем ключевым критериям: эффективность топливной экономии по сравнению с теоретическим оптимумом, способность обобщаться на незнакомых циклах вождения и робастность к изменениям параметров системы. Для этого использовались три различных цикла вождения: стандартный Highway Fuel Economy Test (HFET) для базового сравнения, агрессивный US06 для проверки экстремальных условий и HHDDT cruise segment для моделирования специфических условий тяжелых грузовиков. Обучение проводилось на диверсифицированном наборе данных, включающем 5000 эпизодов с варьированием начального состояния заряда батареи (20-80%), продолжительности цикла (от 200 до 1200 секунд) и профилей мощности. Для каждого варианта архитектуры проводилось обучение с 10 различ