## Контекст Область исследования сосредоточена на изучении интеграции дискретных и непрерывных методов расширенного подкрепления (RL) для решения задач в условиях непрерывных временных рядов. Дискретные алгоритмы RL, хотя широко применяются в симуляторах и играх, часто не подходят для решения задач, в которых непрерывные значения времени и событий являются ключевыми компонентами. Например, в управлении движениями роботов, энергетических системах или финансовых рынках необходимо учитывать непрерывные изменения времени и состояний. Существующие подходы часто страдают от низкой стабильности, медленной сходимости и требований к высокой точности тайм-дискретизации, что приводит к ошибкам и нестабильности в решениях. Этот рабочий ход ставит целью устранить эти ограничения, сформировав более совершенные и универсальные методы для непрерывных RL-задач. ## Метод Методология основывается на разработке алгоритма, который использует детерминистические политики в непрерывных временных рядах. Для этого изучается формула политического градиента на непрерывных временных рядах, основываясь на аналоге функции привышения (advantage). Для обеспечения стабильности и эффективности используется мартингальная характеристика, которая позволяет контролировать вариативность и надежность исследований. Архитектура CT-DDPG (Continuous-Time Deterministic Policy Gradient) объединяет элементы детерминированных политик и непрерывных оценок, чтобы достичь стабильного и эффективного обучения в непрерывных средах. Такая архитектура позволяет совместить точность детерминированных политик с гибкостью непрерывных оценок, обеспечивая устойчивость и эффективность в работе. ## Результаты На основе теоретических выводов проводились эксперименты на различных симуляционных задачах, включая управление роботами, энергосистемами и финансовыми моделями. В этих экспериментах использовались различные уровни дискретизации времени и шумовых воздействий, чтобы проверить устойчивость и точность CT-DDPG в сравнении с дискретными и непрерывными алгоритмами. Результаты показали, что CT-DDPG обеспечивает более высокую стабильность и быстрее достигает оптимальных решений, в сравнении с традиционными подходами. Эти результаты подтверждают значительные преимущества CT-DDPG в условиях сложных непрерывных задач, где существуют высокие требования к стабильности и точности. ## Значимость Результаты CT-DDPG открывают путь к применению RL в реальных непрерывных задачах, таких как энергетическое управление, интеллектуальное управление производством и управление роботами в реальном времени. Этот

#### Контекст Оптимальная многомерная Шредингерова цепь (Multimarginal Schrödinger Bridge, MSB) является мощным инструментом для описания и оптимизации корреляционных структур между несколькими случайными векторами. Традиционно, MSB определяется в рамках заданного графа с известными статистическими свойствами мер-значений вершин. Тем не менее, проблема определения оптимальной корреляционной структуры, то есть выбора наилучшего графа, остается открытой. Эта проблема важна в многих областях, включая компьютерные науки, физику и экономику. Нашим целью является разработка метода для выбора оптимальной структуры графа, оптимизируя MSB. #### Метод Мы предлагаем алгоритм, основывающийся на решении задачи минимального остатка спана (minimum spanning tree, MST) над мер-значениями. Для этого мы строим полный граф, где каждая вершина представляет из себя меру-значение, а веса ребер вычисляются как сумма оптимальных значений bimarginal MSB и энтропий вершин. Оптимальный граф выбирается как решение MST над таким графом. Эта модель позволяет объединить задачу выбора корреляционной структуры и оптимизацию MSB в одну систему. #### Результаты Мы проверили наш алгоритм на ряде экспериментов с различными количествами вершин и различными мер-значениями. Наши результаты показали, что данный подход эффективно решает задачу выбора оптимальной структуры графа. Мы также проверили, насколько уменьшается ошибка при использовании нашего метода в сравнении с традиционными подходами. Эксперименты показали, что наше решение является более точным и стабильным. #### Значимость Результаты нашего исследования могут быть применены в различных областях, таких как моделирование систем, оптимальное распределение ресурсов, а также в ситуациях, где необходимо оптимизировать структуру взаимосвязей. Этот подход предоставляет гибкость в выборе структуры, что может привести к более эффективным решениям. Мы также обнаружили, что наш метод может быть использован для решения задач, связанных с многомерными структурами, такими как графы с мер-значениями. #### Выводы Мы предложили метод для решения задачи оптимального выбора корреляционной структуры в MSB, основывающийся на MST. Наши эксперименты показали, что этот подход эффективен и может быть применен в различных задачах. В дальнейших исследованиях мы планируем расширить нашу модель для более широкого класса задач и применить ее к реальным данным.