## Контекст Одним из основных задач в машинном обучении является эффективное семплирование из распределений, представляющих собой модели для обработки данных. Одним из популярных подходов является использование методов типа Langevin dynamics, которые позволяют эффективно решать задачи семплирования в высоком размерности. Однако, существуют ограничения. Они не могут семплировать данные, имеющие недифференцируемые компоненты в лог-плотности, что исключает многие прикладные задачи. Кроме того, в случае тяжеловосьющих распределений, методы могут либо не работать, либо требовать дополнительной настройки. Мы предлагаем новый подход, "Anchored Langevin Algorithms", который может решать эти проблемы, позволяя семплировать данные с недифференцируемыми и тяжеловосьющими компонентами. ## Метод Мы предлагаем "Anchored Langevin Algorithms", новый подход к семплированию, который расширяет классические техники типа Langevin dynamics. Основной идеей является замещение исходного потенциального поля некоторым гладким справящимся потенциалом, а также использование масштабирования добавочного шума. Это позволяет получить более гибкий подход, который может применяться к широкому классу распределений, в том числе с недифференцируемыми и тяжеловосьющими компонентами. Мы также обосновываем нашу модель математически, доказывая точность семплирования в 2-Wasserstein дистанции. ## Результаты Мы провели эксперименты на различных типах распределений, включая те, которые имели недифференцируемые или тяжеловосьющие компоненты. Наши результаты показали, что Anchored Langevin Algorithms превосходят стандартные методы в семплировании в тех случаях, когда традиционные подходы либо не работают, либо требуют дополнительной настройки. Мы также проверили наше решение на реальных данных и отметили высокую эффективность в задачах, требующих семплирования из heavy-tailed распределений. ## Значимость Наш подход может применяться в различных областях машинного обучения, в том числе в задачах семплирования для моделей с тяжелыми хвостами, таких как задачи с SDE (stochastic differential equations), задачи регуляризации, и многие другие. Данный подход имеет преимущества перед традиционными методами, так как он может эффективно семплировать данные в сложных случаях, когда другие подходы могут быть неэффективными. Мы видим возможность использования этого подхода в прикладных задачах, таких как моделирование тяжеловосьющих распределений в финансовых моделях, биоинформатике и других областях. ## Выводы Мы предлагаем новый метод для семплирования, который может работать в сложных случаях с недифференцируемыми или тяже

## Контекст Статистическая физика предполагает, что восстановление сообществ в модели Стохастического Блочного Модели (SBM) возможно полиномиально только при $K \leq \sqrt{n}$, где $K$ — число сообществ, а $n$ — число узлов в графе. Данная гипотеза вдохновила многочисленные исследования, подтвердившие возможность повторной группировки в SBM при $K < \sqrt{n}$. Однако для $K = o(\sqrt{n})$ доказано, что низкой степени полиномы не могут эффективно восстанавливать сообщества. В 2025 году Chin et al. доказали, что для $K \geq \sqrt{n}$ в узких регулярных графах можно восстановить сообщества полиномиальным временем с помощью отслеживания невозвращающихся путей. Это открыло новую область исследований, посвященную ситуации $K \geq \sqrt{n}$. ## Метод Мы используем методы теории вероятности и линейной алгебры для исследования SBM. Анализируем характеристики графа, такие как степень сжатости, и применяем методы отслеживания путей и счета кликов. Основная методология заключается в сравнении поведения двух полиномиальных методов: отслеживания невозвращающихся путей и счета кликов, чтобы определить точность восстановления сообществ при разных значениях $K$ и степени сжатости графа. ## Результаты Подтвердили гипотезу Chin et al., что в сетях с $K \geq \sqrt{n}$ полиномиальное время восстановления сообществ достижимо ниже KS-порога, но только в очень узких графах. Для менее регулярных графов (с небольшим коэффициентом сжатия) доказано, что для $K \geq \sqrt{n}$ можно восстановить сообщества с помощью счета кликов, но это не работает во всех случаях. Таким образом, результаты подтверждают новую гипотезу для $K \geq \sqrt{n}$, но устанавливают ограничения на ее применимость в различных регулярных и неограниченных регimes. ## Значимость Наши результаты имеют значительное значение для теории SBM и приложений в области сверточных сетей, графных теории и данных. Этот подход может быть применен для решения задач кластеризации, вирусного слежения и других задач, требующих определения сообществ в больших графах. Этот подход не только расширяет теоретические знания о SBM, но и открывает возможности для практических приложений в сложных сетевых средах. ## Выводы Мы подтвердили гипотезу о новой пороговой точке для SBM при $K \geq \sqrt{n}$, демонстрируя возможность восстановления сообществ полиномиальным временем ниже этого порога в узких графах. Однако мы также продемонстрировали границы этого подхода в менее регулярных сетях. Будущие исследования будут ориентированы на развитие эффективных алгоритмов для работы в более широких регу

## Контекст В современной математике и статистике широко используется метод Ланжевина для сэмплирования из сложных высокомасштабных распределений. Однако этот метод имеет значительную ошибку в сэмплировании, которая увеличивается пропорционально размерности пространства в квадрате, измеряемой по расстоянию в числе Вассерштейна. Несмотря на это, в последнее время выявлена интересная структурная особенность: если распределение имеет спарсенные взаимосвязи, то ошибка сэмплирования зависит только от размерности самой спарсенной части. В рамках этого исследования мы расширяем это понятие, показывая, что подобная структурная особенность присутствует даже в случае слабых взаимосвязей, а не только в случае спарсенности. Таким образом, мы монтируем новые горизонты в понимании и улучшении качества сэмплирования при помощи теории высокомасштабных распределений. ## Метод Мы применяем метод Ланжевина в высокоразмерных пространствах с целью оценивать распределение данных. Наша методология основывается на новом подходе к расчету энтропии в разные масштабы. Ранее известный метод деллокализации ошибки был ограничен определенным классом распределений с сильными взаимосвязями. Мы расширяем его доступность, доказывая, что данный эффект действует и для слабых взаимосвязей. Мы используем новый анализ, основанный на рекурсивной работе с маргинальными распределениями, что позволяет доказать новые теоретические свойства метода Ланжевина в задачах сэмплирования спарсенных пространств. ## Результаты Мы проводим эксперименты на основе синтетических данных, которые подтверждают полученные результаты. Наши результаты показывают, что для распределений с сильными и слабыми взаимосвязями распределение не только имеет меньшую ошибку, но и распределяется более равномерно по размерности. Мы тестируем нашу новую методологию на разных классах распределений и показываем, что наш подход дает значительное улучшение по сравнению с ранее известными методами в задачах сэмплирования спарсенных пространств. ## Значимость Наша работа имеет практическое значение в области сэмплирования сложных высокомасштабных распределений, которые часто встречаются в машинном обучении и финансовых моделях. Новый подход позволяет улучшить точность и эффективность сэмплирования в случаях спарсенных распределений. Это открывает новые возможности для применения метода Ланжевина в сложных задачах, где ранее он был неэффективен из-за высокой размерности. Также наши результаты могут быть использованы в разработке новых методов сэмплирования для задач с малои

#### Контекст Обратные задачи, такие как анализ изображений, моделирование геофизических процессов и интерпретация сигналов, широко распространены в науке и технологиях. Их основная трудность заключается в том, что необходимо решать две задачи: генерировать (forward problem) и интерпретировать (inverse problem) данные. Традиционные подходы часто требуют отдельных моделей для этих целей, что усложняет процесс и может привести к возникновению ошибок при передаче данных между этими моделями. Это вызывает необходимость в разработке универсальных моделей, которые могут оба эти сторонняя задачи эффективно решать. #### Метод Мы предлагаем формулировать обратные задачи в рамках теории вероятности, конкретно в рамках байесовского подхода. Целью является разработка модели, которая может одновременно симулировать (sample from likelihood) и выполнять интерпретацию (sample from posterior). Мы используем **triangular normalizing flows**, чтобы определить условное изменение распределения с помощью двух вложенных треугольных преобразований. Оба эти преобразования объединяются в одно **инвертируемое генерирующее преобразование**, которое может обеспечивать симуляции и интерпретацию в рамках одной модели. Мы также работаем с описанием условий для тренировки этой модели и основываем её на специально сконструированном loss-функционале. #### Результаты Для иллюстрации работы этой модели, мы приводим несколько стилизованных примеров: 1. **forward problem**: Модель эффективно симулирует выборки из целевого распределения. 2. **inverse problem**: Модель успешно интерпретирует данные, оценивая параметры системы с заданной точностью. 3. **conditional sampling**: Модель позволяет получать выборки из распределения, зависящих от условий. #### Значимость Мы доказываем, что наш подход может быть применен в различных областях, таких как геофизика, радиология и интерпретация сигналов. Он обеспечивает не только эффективность, но и точность, необходимую для решения сложных задач. Модель также позволяет уменьшить количество шагов, необходимых для обработки данных, что может ускорить задачи в реальном времени. Это открывает перспективы для автоматизированных систем интерпретации данных в различных прикладных областях. #### Выводы Мы доказали, что инвертируемая генерирующая модель является эффективным инструментом для решения обратных задач. Модель позволяет производить симуляции и интерпретации данных с высокой точностью и через основные достижения мы можем выделить: 1. Универсальность модели для двух противоположных задач. 2. Эффективность и точность в решении обратных задач в реальном времени. 3. Обнаружение потенциальных направлений для будущих исследований, в

## Контекст Область данных исследований — методы Markov chain Monte Carlo (MCMC), которые широко используются для решения проблем выборки в сложных пространствах, возникающих в данных исследованиях. Одним из ключевых вызовов является эффективность выборки в высокомерных пространствах, где традиционные методы часто неэффективны. Наблюдается потребность в развитии алгоритмов, обеспечивающих более быструю сходимость и точность при выборке из данных с логарифмически выпуклыми и гладкими распределениями. ## Метод Рассматриваются $P$-th order Langevin algorithms, основанные на дискретных версиях $P$-th order Langevin dynamics с $P \geq 3$. Методы строятся на основе техник разделения и точной интегрированной методики. Это позволяет достичь гарантий сходимости в метрике Wasserstein. Алгоритмы базируются на дискретных моделях с малыми шагами и евклидовой метрикой, что обеспечивает точность и эффективность в сложных высокомерных задачах выборки. ## Результаты Проведены эксперименты, используя различные данные, включая распределения с логарифмически выпуклыми и гладкими функциями плотности. Алгоритмы $P$-th order LMC показали значительное улучшение классических методов в задачах с высоким размерностным эффектом. Обнаружена зависимость между точностью выборки $\epsilon$ и размерностью $d$, где сходимость $P$-th order LMC методов сокращается при увеличении порядка $P$. Это демонстрирует выигрыш в скорости работы на больших объемах данных. ## Значимость Предложенные методы имеют широкие применения в области учебных исследований, анализа данных, машинного обучения и других процессов выборки в высокомерных пространствах. Они обеспечивают более быструю сходимость, высокую точность и эффективность в пространствах с высоким размерностным эффектом. Эти преимущества делают их ресурсосберегающими и эффективными для решения сложных задач в прикладных науках. ## Выводы На основе проведенных исследований, $P$-th order Langevin Monte Carlo методы показали значительные преимущества в сравнении с традиционными способами. Будущие исследования будут направлены на расширение этих методов на более сложные задачи, включая задачи с негладкими функциями плотности и современные прикладные задачи в машинном обучении.

## Контекст Задача построения моделей стохастических дифференциальных уравнений (СДУ) на основе данных является ключевым вопросом в математике, физике, биологии и других науках. Обычно, модели СДУ строятся в параметрическом виде, принимая за справедливыми значимые априорные гипотезы о динамике системы. Однако во многих ситуациях динамика системы не явно известна, или же характеристики модели трудно описать с помощью фиксированной структуры. Эти недостатки приводят к неточностям в моделировании и предсказаниях. Наша мотивация заключается в создании непараметрического подхода, который может извлечь динамику системы из данных, не прибегая к предварительным априорным предположениях. ## Метод Мы предлагаем непараметрический подход для изучения СДУ на основе минимизации функционала отрицательго логарифма правдоподобия в репродуцируемом гильбертовом пространстве (RKHS). Этот подход позволяет учитывать ситуации, когда некоторые части динамического процесса остаются необнаруженными. Решение этой задачи осуществляется с помощью статистического алгоритма Expectation-Maximization (EM). Для вычисления E-шага мы используем Sequential Monte Carlo (SMC), чтобы приблизить распределение фильтрации. М-шаг сокращается до задачи минимизации априорной функции в RKHS. Дополнительно, мы разработали модификацию алгоритма с гибридным Байесовским подходом, используя нейтральные предварительные гипотезы для регулирования модели. ## Результаты Мы проводили серию экспериментов, используя имитационные данные с различных типов СДУ, в том числе систем с высокой комплексностью и низким уровнем наблюдаемых данных. Наши результаты показали, что предложенный подход демонстрирует высокую точность в оценке динамических систем по частичной и шумной информации. Особенно хорошие результаты были получены при использовании гибридной Байесовской модификации, которая позволила снизить количество вычислительных вызовов и повысить точность оценок. ## Значимость Наш подход широко применим в таких областях, как моделирование климата, динамика биологических систем, финансовый анализ и другие науки, где необходимо единый расчет динамических процессов на основе неполных наблюдений. Также, наш метод предлагает значительные преимущества по сравнению с существующими параметрическими подходами, которые часто требуют значительных предварительных априорных усилий. ## Выводы Мы установили важные теоретические результаты в области непараметрического учета необходимой информации в ненаблюдаемых данных. Будущие исследования будут адресованы усовершенст