## Контекст Научные эксперименты в сложных и масштабных проектах часто включают в себя тысячи участников со всего мира. Эти проекты требуют постоянного расширения технологий и методов для обработки больших объемов данных. Одной из ключевых проблем является точное определение ресурсов, необходимых для каждого этапа обработки данных. Несовершенство этого процесса может привести к ошибкам, неэффективному использованию ресурсов и задержкам в анализе. Эти проблемы становятся более актуальными в условиях постоянного увеличения данных и разнообразия вычислительных возможностей. В этой статье представлена машинное-обучение-движущаяся модель для прогнозирования ресурсов в широкомасштабных научных проектах. Модель нацелена на решение проблем, связанных с ограниченным предварительным знанием о характеристиках каждого этапа процесса. Обеспечивая более точные прогнозы, модель помогает улучшить эффективность управления рабочими процессами и использования ресурсов. ## Метод Методология основывается на разработке и интеграции множества машинно-обучаемых моделей в систему управления рабочими процессами (Production and Distributed Analysis, PanDA). Эти модели используют глубокое обучение и регрессионные методы для прогнозирования ресурсов для каждого этапа обработки данных. Основной функционал включает: - **Подготовка данных**: Использование исторических данных для обучения моделей. - **Моделирование**: Использование глубоких нейронных сетей для прогнозирования времени и ресурсов для каждого этапа. - **Интеграция**: Интеграция моделей в PanDA для использования в реальном времени. Разработка методов включала обучение моделей на больших наборах данных, включающих разные сценарии обработки, для обеспечения высокой точности прогнозов. ## Результаты Эксперименты проводились на реальных научных рабочих процессах, включающих многоэтапную обработку данных. Модели показали высокую точность прогноза времени и ресурсов для каждого этапа. Например, в одном из сценариев модель уменьшила ошибку прогноза ресурсов на 20% в сравнении с существующими методами. Кроме того, проверки показали, что модели эффективно обрабатывают данные в реальном времени, дают возможность прогнозировать необходимые ресурсы с минимальными задержками и повышают общую эффективность управления рабочими процессами. ## Значимость Результаты могут быть применены в различных научных областях, где требуется оптимизация ресурсов и управление многоэтапными рабочими процессами. Например, в областях физики, биологии, инженерии и искусственного интеллекта. Модели позволяют: - Уменьшить за

## Контекст Решение проблем в многих прикладных областях требует эффективного использования методов управления, в которых мотивация поведения агента определяется целевыми функциями. Одним из подходов является управление с поощрениями (Reinforcement Learning, RL). Однако, обычные модели RL не всегда подходят для задач, требующих учета временных структур в поведении агента. Одним из решений этой проблемы является использование Reward Machines (RMs), которые могут представлять сложные целевые функции в виде регулярных языков. Тем не менее, существуют задачи, требующие учета более высокоуровневых структур, которые находятся за пределами возможностей RMs. Таким образом, целью исследования является расширение моделей RL, чтобы они могли эффективно решать такие задачи. ## Метод Pushdown Reward Machines (pdRMs) — это расширение обычных Reward Machines, основанное на **deterministic pushdown automata (DPDA)**. Эти автоматы могут представить более сложные языки, включая такие, допускающие неограниченные вложенности и глубины временных структур, чем это возможно в оригинальных RMs. Мы предлагаем два варианта политик, использующих pdRM: полный доступ к стеку и ограниченный доступ к верхним $k$-символам стека. Для проверки оптимальности политик мы предоставляем алгоритм, определяющий, достигают ли две политики одинаковую оптимальную суммарную награду в заданной среде. Мы также приводим теоретические результаты о выразительных возможностях pdRMs и анализируем сложность пространственных ресурсов. ## Результаты Мы проводим эксперименты, применяя pdRMs к задачам, требующим учета временных структур. Для задач, которые могут быть представлены в контексте-фри языках, мы показываем, что pdRMs позволяют значительно увеличить эффективность обучения по сравнению с традиционными RMs. Мы также проверяем точность вычисления оптимальности политик на различных наборах данных. Эксперименты показывают, что pdRMs могут эффективно решать задачи, которые требуют учёта более сложных структур времени, чем это возможно в стандартных Reward Machines. ## Значимость Предлагаемый подход может быть применен в различных прикладных областях, где необходимо учитывать временные структуры, такие как роботизированные системы, квантовые вычисления и анализ текстов. Одним из главных преимуществ pdRMs является их возможность эффективно учитывать временные структуры, что дает значительное преимущество над традиционными RMs. Мы также показываем, как эта модель может быть использована в сложных ситуациях, где требуется оптимальное решение по задачам, включающим временные зависимости. Потенциальное влияние заключается в том, что pdRMs могу

**Резюме** Современные рекомендательные системы сталкиваются с значительными вызовами при масштабировании моделей, включая необходимость учитывать структуру потоковых данных, адаптироваться к различным рекомендательным поверхностям и соблюдать жесткие ограничения по задержке и вычислительной сложности. Для решения этих проблем предлагается **Foundation-Expert Paradigm**, ориентированная на развитие и развертывание масштабных моделей рекомендаций. Центральная модель обучается на кросс-сурфасной, мультимодальной данной для извлечения общей значимости, которая потом эффективно передается "экспертным" моделям, специально подготовленным для конкретных поверхностей и задач рекомендаций. Это решение реализовано в системе HyperCast, которая перерабатывает тренировку, развертывание и логирование, при этом сохраняя высокую производительность. Исследования показали, что данная модель улучшает онлайнные показатели и эффективность развертывания, являясь первым успешным примером такого подхода на масштабе Meta, предлагая эффективный и практичный метод для реализации сценариев масштабирования в рекомендательных системах.