DynaMark: A Reinforcement Learning Framework for Dynamic Watermarking in Industrial Machine Tool Controllers

## Контекст Industry 4.0 позволяет интегрировать машины, системы управления и производственные процессы в одну систему, обеспечивая более высокую производительность и автоматизацию. Однако такая интеграция сопряжена с риском атак, таких как реплей-атаки, когда несанкционированные пользователи используют устаревшую сенсорную информацию для манипуляции с актоуаторами. Это может привести к серьезным последствиям, включая повреждение оборудования и потерю качества продукции. Динамическая водяная метка (dynamic watermarking) представляет собой метод, который может открыть такие манипуляции, отображая искажения в данных. Однако существующие схемы динамической водяней метки предполагают линейно-Гауссовые динамики и постоянные статистические параметры водяных меток, что делает их неэффективными для использования на MTCs (machine tool controllers) с временно меняющимися динамиками и частично закрытыми моделями. Таким образом, требуется развитие более универсального подхода. ## Метод Мы предлагаем DynaMark, фреймворк на основе усиления обучения (reinforcement learning), который использует Марковский процесс решений (Markov decision process, MDP) для моделирования динамической водяной метки. DynaMark обучает адаптивный политический механизм (policy), который динамически меняет ковариацию нулевого-среднего Гауссового водяного знака с использованием доступных измерений и обратной связи детектора. Он не требует предварительного знания о системе. Для реализации этого фреймворка мы разработали механизм байесовского обновления уверенности (Bayesian belief updating) для реального времени, который работает в системах с линейными динамиками. Этот метод основывается на универсальной структуре MDP, которая не зависит от конкретных системных предположений, и позволяет DynaMark эффективно работать на MTCs. ## Результаты Мы проводили эксперименты с использованием цифровой модели Siemens Sinumerik 828D и физического тестбеда на основе шагового мотора. На цифровой модели DynaMark снизил энергозатраты на водяную метку на 70% в сравнении с базовым подходом постоянной вариации, при этом сохранив назначенный траектории. Он также поддерживает среднюю задержку обнаружения (detection delay), равную одному интервалу выбора. Физический тестбед показал, что DynaMark сразу же вызывает аварийные сигналы при меньшем ущербе для производительности контроллера, превосходя существующие бенчмарки. Эти результаты подтверждают эффективность DynaMark в раскрытии реплей-атак и сохранении производительности системы. ## Значимость DynaMark может применяться в различных производственных системах, включая цифровые системы управления, где требуется обнаружение