HPC Digital Twins for Evaluating Scheduling Policies, Incentive Structures and their Impact on Power and Cooling

## Контекст В цифровизированном мире, где высокопроизводительные вычисления (HPC) играют ключевую роль, системы планирования (schedulers) являются критически важными для эффективного использования ресурсов. Однако современные методы оценки этих систем ограничены, ограничиваясь либо пост-деплойментной экспериментальной оценкой, либо симуляторами, не учитывающими взаимодействие с физическими системами. Это приводит к значительным ограничениям в моделировании и эффективном прототипировании новых стратегий планирования. Мотивация заключается в развитии решений, которые позволят проводить эффективные "что если" анализы, определяя влияние параметров и стратегий на физические инфраструктуры, включая системы охлаждения и энергопотребление. ## Метод Мы предлагаем первое полностью интегрированное решение, объединяющее методологию дигитальных двойников (digital twins) с методами планирования HPC. Наша методология включает следующие этапы: (1) разработка фреймворка дигитальных двойников, расширенного для возможности планирования; (2) интеграцию данных от различных HPC-систем, доступных публично; (3) разработка системы, позволяющей интегрировать сторонние модели планирования; (4) эмпирическое исследование и оценка систем лояльности и моделей машинного обучения в контексте HPC; и (5) разработка модуля для эффективной оценки взаимодействия между планированием и оптимизацией ресурсов в физической системе. ## Результаты Мы проводили эксперименты с использованием данных от нескольких представительных HPC-систем, включая их метрики потребления питания, производительности и охлаждения. Наши результаты показали, что интеграция дигитальных двойников и моделей планирования позволяет: (1) эффективно прототипировать и оценивать новые стратегии планирования в "что если" сценариях; (2) понять влияние параметров на производительность и энергоэффективность; (3) оценивать влияние различных систем лояльности, таких как торговые преимущества и наценки за ресурсное эффективное использование; и (4) протестировать машинное обучение для автоматизированных решений в HPC. ## Значимость Наш фреймворк предоставляет ценные возможности для моделирования и прототипирования в HPC, что может привести к значительным улучшениям в управлении ресурсами. Он позволяет оценивать влияние на систему в целом, включая системы охлаждения, энергопотребление и лояльность систем. Это имеет потенциал для улучшения энергоэффективности, сокращения энергозатрат и увеличения эффективности в различных сценариях применения, включая облачные вычисления и цифровизирова