Reinforcement Learning-based Control via Y-wise Affine Neural Networks (YANNs)

#### Контекст Область исследования сосредоточена на развитии методов управления, основанных на reinforcement learning (RL), которые могут эффективно решать задачи в условиях сложных, нелинейных систем. Существующие методы часто страдают от недостатка интерпретируемости и надежности, особенно при работе с нелинейными оптимизационными задачами. Мотивацией для разработки новых подходов является необходимость повысить точность, устойчивость и надёжность управляющих систем, особенно при применении в критичных областях, таких как химическая реактивность и авиационная техника. #### Метод Предлагается использовать Y-wise Affine Neural Networks (YANNs) как базовую модель для RL-алгоритмов. YANNs представляют собой интерпретируемые нейронные сети, которые могут точно репрезентативно представить политопические функции с произвольными размерами входа и выхода. Методом инициализации RL-сетей (actor и critic) используется решение многопараметрической линейной модельной прогностической контрольной программы (MPC). Это позволяет YANN-RL начинать работу с уверенностью, основанной на решении линейного контрольного процесса. Для учёта нелинейных систем добавляются дополнительные слои сети, которые обучаются в процессе интерактивного взаимодействия с неизвестной нелинейной системой. Это даёт возможность перейти от линейной модели к решению общих нелинейных задач управления. #### Результаты На исследовательских задачах, таких как подвеска маятника и система реактивного управления с критичными реакциями, YANN-RL продемонстрировала превосходство перед современными RL-методами, в частности, использующими deep deterministic policy gradient (DDPG). Особенно выдающимися результатами оказалось применение YANN-RL в ситуациях, требующих строгого соблюдения безопасностных ограничений. Набор экспериментов показал, что в сравнении с DDPG, YANN-RL обеспечивает улучшение надёжности и эффективности управления в системах с требовательными ограничениями. #### Значимость Разработанный подход может быть применён в различных областях, таких как авиация, роботизация, кибер-физические системы и управление промышленными процессами. Основные преимущества включают высокую точность, интерпретируемость решений и устойчивость к ошибкам. Дальнейшие исследования могут быть направлены на улучшение скорости интерпретации и оптимизации алгоритмов для задач с более высоким размером политопических подмножеств. #### Выводы YANN-RL представляет собой перспективный подход к управлению нелинейными системами, который объединяет преимущества RL и YANNs. Результаты эмпирических экспериментов подтверждают превосходство YANN-RL в сложных задачах упра