## Контекст Normalizing Flows (NF) — это мощный фреймворк для высокоразмерной оценки распределений и генерирования данных. Они построены на основе инвертируемых преобразований, позволяющих эффективно оценивать логарифмический детерминант якобиана. Однако, существуют проблемы с эксплицитностью интерпретации трансформаций и улучшением структурированности латентного пространства. Например, стандартные NF могут быть недостаточно точными в задачах кластеризации или генерирования структурированных данных. Эти главные вызовы мотивируют развитие более гибких и интерпретируемых NF-моделей, которые могут эффективно работать в задачах сложных генерируемых процессов. ## Метод Fractal Flow предлагает два ключевых инновационных решения. Во-первых, интеграция Kolmogorov-Arnold Networks (KAN) с Latent Dirichlet Allocation (LDA) позволяет строить структурированное и интерпретируемое латентное пространство. Это решение позволяет раскладывать латентные представления на семантические кластеры, улучшая их понимание и управляемость. Во-вторых, воспроизводимый модульный дизайн вдохновленный Fractal Generative Models добавляет уровни рекурсии в трансформации NF, увеличивая их выразительность и точность оценки. Архитектура Fractal Flow объединяет эти элементы в инвариантную к инверсии и вычислительно эффективную структуру. ## Результаты Эксперименты проводились на MNIST, FashionMNIST, CIFAR-10 и данных геофизического происхождения. Модель показала высокую точность оценки распределений и выдавала структурированные латентные пространства. На MNIST и FashionMNIST, Fractal Flow демонстрировал значительную улучшенную точность кластеризации в сравнении с базовыми NF. На CIFAR-10, модель показала высокую точность генерирования и интерпретируемость латентных пространств. На геофизических данных, Fractal Flow существенно повысил точность в задачах задач восстановления и кластеризации. ## Значимость Fractal Flow может применяться в сложных задачах генерируемых процессов, таких как генерирование структурированных данных, анализ изображений и текстов, в том числе в приложениях к геофизическим процессам. Улучшенная интерпретируемость позволяет ускорить разработку систем, а структурированность латентного пространства облегчает управляемость и эффективность моделей. ## Выводы На основе предложенных результатов, Fractal Flow доказывает свою эффективность в сравнении с существующими NF-моделями. Будущие исследования будут сфокусированы на расширении модели для более сложных латентных пространств и приложениях в реальных задачах, таких как видео-генерирование и синтез данных в области здравоохранения

## Контекст Предложение эффективных методов для прогнозирования радиативных свойств ненулевых сред, содержащих наночастицы, является ключевым вызовом в области радиативного трансфера. Такие среды часто встречаются в природе и технологических приложениях, например, в солнечных элементах, электронной технике и медицинских устройствах. Несмотря на развитие моделей, таких как Monte Carlo Radiative Transfer (MCRT), проблемы с высокой вычислительной сложностью и неопределенностью при оценке полученных результатов остаются актуальными. Исследование предлагает альтернативный подход, основанный на условных нормализующих потоках (Conditional Normalizing Flows, CNF), для точного и статистически обоснованного прогнозирования радиативных свойств в таких сложных средах. ## Метод Предложенный подход основывается на применении условных нормализующих потоков, которые являются статистическими моделями, учитывающими условия входных параметров, такие как абсорбпантный и скоростной коэффициенты, анизотропия и размеры частиц. Эта модель учится на данных, полученных с помощью Monte Carlo Radiative Transfer (MCRT), где входными данными являются физические свойства среды. Условные нормализующие потоки предлагают возможность не только прогнозировать выходные радиативные свойства (отражение, поглощение и преломление), но и описывать их неопределенность методом оценки доверительных интервалов. Эта модель является альтернативой традиционным нейронным сетям, позволяя обеспечить точные прогнозы и высокую надежность в оценке неопределенности. ## Результаты Исследование проводилось на данных, полученных в результате виртуальных экспериментов с помощью MCRT. Оценка производительности модели включила сравнение предсказанных радиативных свойств (отражение, поглощение и преломление) с результатами MCRT. Результаты показали, что условные нормализующие потоки обеспечивают высокую точность и низкую статистическую ошибку в прогнозировании радиативных свойств. Более того, модель демонстрирует надежную оценку неопределенности, что делает ее отличным инструментом для радиативных задач, где неопределенность может быть критично важной. ## Значимость Предложенный подход может быть применен в области проектирования и анализа радиативных систем, таких как солнечные элементы, микроскопы, и медицинские устройства. Он предлагает выгоду в скорости вычислений по сравнению с MCRT, а также в поддержке неопределенности, что позволяет улучшить прогностическую надежность. Этот метод может стать основой для развития более эффективных и точных моделей радиативного трансфера, которые будут иметь широкие приложения в науке и технике. ## Выводы Пре

## Контекст Область исследования связана с методами стохастического градиентного оптимизации, которые широко используются в различных сферах, от классического машинного обучения до современных подходов в области самостоятельного обучения. Одна из проблем в этой области заключается в том, что некоторые обучающие процессы зависят от неизвестных нюансов (nuisances), которые могут затруднять достижение оптимальных результатов. Мотивацией для данных исследований является развитие методов, позволяющих стохастическим градиентным алгоритмам достигать хороших результатов даже при наличии таких нюансов. ## Метод Авторы предлагают рассмотреть стохастические градиентные алгоритмы в ситуациях, когда оптимизируемый функционал зависит от неизвестных нюансов. Они исследуют условия, при которых данные алгоритмы могут по-прежнему достигать приемлемых результатов. Особое внимание уделено понятию Neyman-ортогональности, которое позволяет оценить влияние нюансов на оптимизационный процесс. Кроме того, предложена разработка вариантов алгоритмов с приближенно ортогональными обновлениями, которые могут компенсировать влияние нюансов и поддерживать близкие к классическим стохастическим градиентам результаты. ## Результаты Исследования проводились с использованием синтетических и реальных данных. Авторы проверили эффективность своих методов на примерах из области статистического обучения и двойного машинного обучения. Для оценки производительности использовались метрики, такие как скорость сходимости и точность решения. Результаты показали, что при удовлетворении условия Neyman-ортогональности стохастические градиенты могут достичь оптимальных результатов. В случае, когда условие не выполняется, вариант с приближенно ортогональными обновлениями показал приемлемые результаты, уменьшая влияние нюансов на оптимизацию. ## Значимость Предложенные методы могут применяться в ситуациях, когда задачи обучения зависят от неизвестных нюансов. Они демонстрируют высокую потенциальную полезность в области самостоятельного обучения, обработки нестандартных данных и двойного машинного обучения. Основное преимущество заключается в улучшении устойчивости и эффективности стохастических градиентных алгоритмов при оптимизации задач, где нюансы могут существенно повлиять на результаты. Это может привести к более надежным и предсказуемым результатам в различных практических сценариях. ## Выводы Изучение влияния нюансов на стохастические градиентные алгоритмы позволило установить условия, при которых данные алгоритмы все же могут достичь приемлемых результатов

## Контекст Amortized Bayesian model comparison (BMC) представляет собой эффективный подход к прогнозированию модели на основе ненулевых вероятностей, используя глубокие нейронные сети для аппроксимации построения моделей и вычисления показателей. Этот подход позволяет оценивать модели быстро и с достаточно высокой точностью. Однако, существуют определенные проблемы, связанные с недостаточной надежностью нейронных сетей, когда анализируются модели с недостаточным разрешением или когда сами модели подвергаются ошибкам. Это особенно важно при оценке моделей в случаях, когда возможна пропускная способность значительных предсказательных ошибок. Целью данной работы является улучшение надежности BMC в ситуациях, когда предполагается множественная модельная оценка, чтобы обеспечить более надежные результаты в области моделирования. ## Метод Для улучшения надежности BMC в этой работе рассматривается подход, основанный на добавлении самостоятельной консистентности (SC) в качестве дополнительного обучения. Реализация SC включает в себя добавление новых обучающих данных, которые позволяют улучшить модель, когда входные данные недостаточно подробно описывают наблюдаемый факт. Этот подход обеспечивает улучшение надежности BMC при наличии неточностей в моделях. Для достижения этой цели используются два типа моделей: те, которые используют глубокие нейронные сети для моделирования, и те, которые используют классические методы, такие как bridge sampling. Одним из ключевых аспектов этого подхода является использование не только синтетических данных, но и реальных данных для улучшения надежности решений. ## Результаты В результате экспериментов было продемонстрировано, что применение SC может улучшить надежность BMC в ситуациях, когда синтетические модели недостаточно точны. Однако, при использовании ненулевых моделей, SC не оказывает существенного влияния на улучшение BMC. В случае с реальными данными, SC может устранить некоторые неточности в моделях, но при этом, этот подход не всегда может быть оптимальным для повышения надежности. Одним из основных результатов является то, что SC может повысить надежность BMC только при условии того, что модели являются достаточно точными и имеется доступ к точным аналитическим вероятностным выражениям. ## Значимость Полученные результаты показывают, что SC может быть полезным для улучшения надежности BMC в ситуациях, когда модели аналитически обучены. Однако, при использовании нейронных сетей, SC не оказывает существенного влияния на улучшение BMC. Таким образом, SC может использоваться в тех случаях, когда модели являются достаточно точными и требуется повысить надежность BMC в реальных условиях. Этот подход может быть применен в ситуациях, где необхо

#### Контекст Операторное обучение (Operator Learning, OL) является мощным инструментом в области scientific machine learning (SciML), позволяющим оценивать отображения между пространствами функций бесконечной размерности. Одной из основных задач в этой области является обучение оператора решения уравнений в частных производных (PDE). Несмотря на то, что большинство успехов в данной области были достигнуты за счет глубоких нейронных сетей, таких как Deep Operator Networks (DeepONet) и Fourier Neural Operator (FNO), в последнее время ростую признательность набирают методы традиционной машинного обучения. Целью настоящей работы является введение метода полиномиальной хаосной разложения (Polynomial Chaos Expansion, PCE) для решения задач OL. PCE широко используется в области неопределенности (Uncertainty Quantification, UQ) и недавно привлек внимание в целях SciML. #### Метод Мы предлагаем математическую модель, позволяющую использовать PCE для аппроксимации операторов в обоих наборах условий: только на основе данных и при физической осведомленности. Модель преобразует задачу обучения оператора в решение системы уравнений для коэффициентов PCE. Это позволяет не только решать задачи операторного обучения, но и осуществлять неопределенность оценки (UQ) через простую построение процесса распределения коэффициентов. Благодаря этому, метод PCE значительно экономит ресурсы и упрощает процесс применения в прикладных задачах. #### Результаты Мы проверили процедуру на нескольких примерах PDE, включая Laplace, Poisson и Navier-Stokes уравнения. Результаты показывают, что PCE обеспечивает высокую точность оценок оператора и выполняет UQ с точностью, сопоставимой с DeepONet и FNO, но с значительно меньшими затратами по ресурсам. Наши результаты подтверждают, что PCE является эффективным и надежным методом для решения задач OL и UQ в различных прикладных сценариях. #### Значимость Метод PCE может быть применен в широком круге задач, включая моделирование систем с неопределенностью, синтез решений PDE и другие задачи SciML, где необходимо высокий уровень точности и компактности алгоритмов. Его преимущества заключаются в двусторонней эффективности: как для решения PDE, так и для построения моделей UQ. Будущие исследования будут направлены на расширение применений PCE к более сложным PDE-моделям и интеграцию с другими методами машинного обучения. #### Выводы Мы представляем полиномиальную хаосную разложение как эффективный метод для операторного обучения и неопределенности оценки в SciML. Наши результаты показывают, что PCE обеспечивает высокую точность и эффективность, делая его привлекательным вариантом для решения PDE и моделирования неопределенности. Будущие работы будут ориентированы на расширение PCE для более сложных

## Контекст В области машинного обучения и статистики возникают часто задачи, требующие передачи знаний из одной области (или задачи) в другую, где данные или условия не полностью совпадают. Этот процесс, известный как **transfer learning**, применяется для улучшения производительности моделей на новых данных, особенно когда доступны мало обучающих примеров в новой области. Одна из сложных проблем в этой области — оценка индивидуальных персонализированных правил лечения (Individualized Treatment Rules, ITRs). Традиционные подходы к оценке ITRs опираются на выборку, соответствующую конкретной области, и могут неэффективно работать при смене условий или доступа к новым данным. Наша исследовательская мотивация заключается в развитии методов, позволяющих эффективно переносить знания из одного контекста в другой, особенно в случае изменения правил решения (decision rule drift). ## Метод Мы развиваем фреймворк **transfer learning** для задач классификации, основываясь не на регрессионных функциях, а на **decision rules** (более естественном представлении решений). Методология основывается на моделировании **posterior drift** (изменений в данных или условиях) с помощью **Bayes decision rules**. Мы предлагаем новую технику, где решение преобразуется в **low-dimensional empirical risk minimization problem**, используя геометрическую трансформацию **Bayes decision boundary**. Это позволяет эффективно адаптировать модели к новым условиям, сохраняя гибкость и точность. Мы также устанавливаем условия консистентности и оцениваем оптимальные решения, используя теорию математической статистики. ## Результаты Мы проводим подробные эксперименты на **симуляционных данных** и **реальных задачах**, включая приложение к оценке **optimal individualized treatment rules (ITRs)**. Наши результаты показывают, что предложенный подход не только эффективно адаптируется к **decision rule drift**, но и превосходит традиционные методы по метрикам производительности и сохраняет низкий **risk bound**. Мы также проводим анализ, показывающий широту применения нашего подхода, включая сценарии с ресурсными ограничениями и высокой динамикой изменений. ## Значимость Наш подход имеет распространенное применение в сферах **клинической медицины**, **рекламы**, **финансов** и **робототехники**, где изменения условий часто приводят к изменений в правилах решений. Он предоставляет преимущества в **доступности ресурсов**, **гибкости**, и **качестве решений**. Мы также отмечаем, что наш подход может способствовать развитию **personalized medicine**, где требуется функционально подстраиваться под индивидуальные пациентские факторы. ## Выводы Мы успешно расширяем фреймворк **transfer learning** для задач классификации, когда возникает изменение правил решений. Наш метод показывает сильную поддержку **теоретическими до

## Контекст Симуляционно-основанная интерпретация (SBI) представляет собой мощный подход, позволяющий инвертировать сложные нелинейные модели, у которых вероятностные распределения невозможно выразить эксплицитно. Однако одной из основных проблем SBI является масштабируемость к некоторым типам моделей, которые требуют генерировать семплы углового значения. Хотя SBI предоставляет постепенные улучшения в области вычисления, некоторые модели продолжают сталкиваться с проблемами, такими как подкрытие или перекрытие квантили в расчетных регионах. Эти проблемы могут привести к некорректному определению доверительных интервалов, что является критическим для принятия решений в научных исследованиях. ## Метод Мы предлагаем $\texttt{CP4SBI}$ — моделирование локальной последовательности полного покрытия с использованием бинарной классификации. Эта архитектура основывается на понятии конформного покрытия, которое обеспечивает локальное покрытие в случае некоторого локального уровня доверия. Мы разработали два варианта: локальная калибровка с помощью регрессионных деревьев и сжатия CDF-области. Они позволяют улучшить локальное покрытие любого скор-функции, включая гауссовское распределение, симметричные и квантильные настройки. ## Результаты Мы проводили эксперименты на нескольких бенчмарк-задачах, используя обучение с подкреплением и симуляционные модели. Использовались данные, содержащие 5000 выборок с различными сложностями моделирования. В результате использования $\texttt{CP4SBI}$, мы получили улучшение до 15% в метрике локального покрытия в сравнении с исходными алгоритмами. Это улучшение было достигнуто без влияния на производительность или время работы. ## Значимость Мы видим применение $\texttt{CP4SBI}$ в различных областях, таких как симуляционное моделирование в финансах, генетические исследования и даже в области нейронных сетей. Этот подход позволяет улучшить качество интерпретации моделей, обеспечивая более точные доверительные интервалы и повышая уверенность в результатах. Это может привести к существенным повышениям эффективности в различных научных и практических приложениях. ## Выводы Мы представили $\texttt{CP4SBI}$, новый подход к калибровке доверительных интервалов в симуляционно-основанной интерпретации. Мы продемонстрировали, что наше решение улучшает локальное покрытие и обеспечивает более прозрачные и надёжные результаты. В будущем нам предстоит расширить область применения $\texttt{CP4SBI}$ на более сложные модели, а также провести эксперименты на данных с реальными условиями.

## Контекст Распределенные вычисления и машинное обучение приобрели широкое распространение в современных вычислительных системах. Однако одной из основных проблем в этой области является эффективное управление ресурсами, включая сжатие данных для облегчения вычислений и сокращения затрат на обмен данными между узлами. Наиболее популярные подходы к этим задачам — сжатие данных с использованием осиальных алгоритмов или построение коретов (coresets) для точного представления данных с минимальными размерами. Однако существуют серьезные изъяны в существующих подходах. Например, многие алгоритмы требуют случайных генераторов чисел, что может привести к падению производительности в детерминированных системах, или используют априорные знания об экспериментальных условиях, что может вести к неудовлетворительным результатам в нестандартных ситуациях. Эти недостатки способствуют необходимости разработки новых, более оптимальных и гибких методов построения коретов. ## Метод Мы предлагаем новую методологию построения коретов для решения задачи эмпирического минимизации риска (ERM), которая основывается на адаптивном удалении точек с наименьшими оценками чувствительности (Adaptive Sensitivity Trimming, ADUWT). Данный подход позволяет удалять точки произвольного размера из исходного набора данных, при этом оставляя оставшиеся точки с данными измерениями, которые обеспечивают точное оптимизационное решение ERM. Мы также предлагаем алгоритм, который позволяет применить один и тот же uniform weight к всем оставшимся точкам, чтобы обеспечить $(1\pm\varepsilon)$-относительное ошибки для ERM. Метод построения коретов гарантирует восстановление всех точек, включенных в корет, без случайных операций, что гарантирует предсказуемость и репродуцируемость. ## Результаты Мы провели эксперименты для оценки эффективности наших подходов на разных задачах машинного обучения, включая линейную регрессию, классификацию и регуляризованную классификацию. Использованные данные в экспериментах были получены с помощью реальных и синтетических данных. Мы проанализировали размер коретов и их точность в сравнении с другими методами. Результаты показали, что наш алгоритм ADUWT превосходит существующие подходы по метрикам точности и размеру коретов, а также позволяет удовлетворительно оптимизировать метрики времени работы. Также мы показали, что наш алгоритм позволяет достичь лучших результатов на синтетических данных, при этом оставаясь эффективным и универсальным в реальных задачах. ## Значимость Предлагаемый подход имеет широкое применение в области машинного обучения, где необходимо эффективно управлять ресурсами, такими как память и вычисли

## Контекст В области теории игр и управления, а также в задачах оптимизации, появились многочисленные подходы к решению задач с неопределенными и разнородными данными. Одно из таких решений — Follow-the-Perturbed-Leader (FTPL) — позволяет принимать решения в условиях неопределенности, основываясь на рандомизации. Несмотря на свою теоретическую красоту и перспективу, FTPL сталкивается с ограничениями при попытке расширения его применения на задачи с более широкой структурой. Эти ограничения мотивируют дополнительные исследований, чтобы полностью раскрыть потенциал FTPL в различных задачах, включая задачи многократного гамильтонова анализа в подсистемах. Фундаментальный характер этой проблемы привлекает многочисленных исследователей в теоретическую математику, а также в применения в машинном обучении и алгоритмическом управлении. ## Метод В этой работе мы возвращаемся к классической теории FTPL, которая связана с FTRL (Follow-the-Regularized-Leader), и рассматриваем ситуации с неограниченными рандомизированными возмущениями в задачах, включающих многократный анализ. Мы используем асимметричные уравнения типа Fréchet-типа и расширяем их для случаев с симметричными и несимметричными возмущениями. Для эффективного анализа, мы вводим гибридные модели, которые сочетают в себе типичные свойства этих типов рандомизации. Наша методика включает анализ этих моделей в базисных теориях и их расширение на более сложные задачи, такие как многоарминные задачи, в которых наблюдается сильная динамика. ## Результаты Мы доказали, что FTPL может достигать Best-of-Both-Worlds (BOBW) результатов в ситуациях с асимметричными уравнениями типа Fréchet-типа, включая симметричные и несимметричные варианты. Эти достижения расширяют классические результаты, показывая возможность применения FTPL в новых, более сложных средах. Мы также связали $1/2$-Tsallis энтропию с определенными уравнениями Fréchet-типа, что позволило нам установить новые связи между этими понятиями. Наши эксперименты показали, что в двухарминных задачах это подходит к BOBW, но в задачах с большим числом армий, мы обнаружили пример, в котором симметричные возмущения не соответствуют ключевым условиям для BOBW, что отклоняет общепринятые модели. ## Значимость Результаты этого исследования открывают новые пути для использования FTPL в сложных задачах, таких как многоарминные задачи с разными видами рандомизации. Эти результаты могут быть применимы в алгоритмическом управлении, оптимизации и машинном обучении, где требуется устойчивость и надежность решений в условиях неопределенности. Однако, эксперименты также выявили огра

## Контекст Контекстно-комбинаторные полубандиты — это модели, которые объединяют аспекты контекстной оптимизации и полубандитных систем. В таких моделях выбор действия зависит от контекста, а результат может относиться к категории событий с неизвестным распределением. Эти модели находят применение в многих областях, таких как рекомендательные системы, игровые теории и электронная коммерция. Однако одним из основных вызовов в этой области является создание алгоритмов, которые могут эффективно работать в разных режимах: адверсальном, где известно несколько альтернативных стратегий, и стохастическом, где знания о данных поступают непосредственно в процессе. Ранее не было решений, которые могли бы обеспечивать гарантии регрета в обоих режимах сразу. ## Метод Мы предлагаем модель, основанную на Framework FTRL (Follow-the-Regularized-Leader), которая использует Shannon entropy в качестве регуляризатора. Данный подход позволяет предлагать решения быстро и эффективно, что гарантируется теоретическими оценками регрета. Наш алгоритм может гарантировать $\widetilde{\mathcal{O}}(\sqrt{T})$ regret в адверсальном режиме и $\widetilde{\mathcal{O}}(\ln T)$ regret в стохастическом режиме. Одним из ключевых моментов является ускорение процесса обновления, который включает вычисление проекций. Мы используем теорему Каруша-Куна-Текера (KKT), чтобы преобразовать $K$-мерные проекции в простейшие решения одномерных уравнений. Это увеличивает скорость реагирования и обеспечивает высокую производительность. ## Результаты Мы провели ряд экспериментов, используя различные данные, включая синтетические и реальные. Наши результаты показывают, что алгоритм обеспечивает высокую скорость работы в режиме реального времени и эффективно решает задачи, где требуется быстрое принятие решений. Регреты в адверсальном режиме и стохастическом режиме соответствуют нашим теоретическим оценкам. Эти результаты указывают на эффективность нашего подхода в решении проблем, где требуется высокая скорость и точность. ## Значимость Наш алгоритм может применяться в различных сферах приложений, таких как рекомендательные системы, распределенные системы, где требуется быстрое принятие решений. Он позволяет эффективно справляться с задачами, где необходимо быстро отвечать на изменения среды и принимать решения в реальном времени. Кроме того, наш подход обеспечивает не только высокую эффективность, но и достаточную гибкость для решения различных задач. Это делает его полезным для разных типов приложений, включая электронную коммерцию, игровые теории и другие. ## Выводы Мы представили первый алгоритм, обеспечивающий гарантии регр