## Контекст Обучение с поддержкой экспертного знания (kernel methods) широко применяется в статистическом обучении за счет их высокой точности и гибкости. Однако их квадратичная сложность в зависимости от размера выборки ограничивает их применение в задачах обработки больших данных. Это ограничение налагает значительные ограничения на использование kernel methods в практических задачах, где данные часто имеют миллионы или даже миллиарды объектов. Целью данной работы является развитие методов, позволяющих решить эту проблему, обеспечивая высокую скорость и эффективность вычислений без потери точности. ## Метод Предлагаемая система основывается на представлении ядер через спектр частот, используя Фурье-трансформацию. Это позволяет перейти от вычислений на пространстве выборки к вычислениям в пространстве частот, где вычисления значительно быстрее. Для того, чтобы ускорить и улучшить точность, вводятся неравномерные вычисления (non-uniform fast Fourier transform, NUFFT), которые позволяют обрабатывать данные не только в центре, но и в периферии выборки. Эта архитектура полностью интегрирует процессоры графического уровня (GPU), чтобы добиться максимальной скорости и эффективности. Метод применяется в трех сценариях: регрессионной модели Шоблева, физико-ориентированной регрессии и модели, состоящие из нескольких компонент. ## Результаты Набор экспериментов показал, что предлагаемые методы обеспечивают очень высокую скорость обработки данных, обрабатывая до десятков миллиардов примеров в минуту. Это достигается без потери точности, так как методы соответствуют минимаксным скоростям сходимости, которые стандартны в теории kernel methods. Эксперименты проводились на различных видах данных, в том числе малых и очень больших выборках, чтобы продемонстрировать гибкость и стабильность методов. ## Значимость Предлагаемые методы могут быть применены в многочисленных областях, где требуется обработка больших данных, включая искусственный интеллект, физические модели, биологию и другие науки. Они обеспечивают высокую скорость и точность, что делает их выглядит более эффективными, чем многие существующие подходы. Благодаря использованию GPU, этот подход значительно увеличивает скорость обработки данных, что может привести к существенным экономиям в ресурсах и времени. ## Выводы Предлагаемая работа развивает новый подход к методам ядерной регрессии, который обеспечивает высокую скорость и эффективность для задач обработки больших данных. Результаты экспериментов подтверждают эффективность метода. Будущие исследования будут сфокуси

## Контекст В последние годы появилось много больших языковых моделей (LLMs), которые показали импрессивные результаты в выполнении задач предсказания в контексте (in-context learning). Однако, несмотря на их успех, остается значительной неопределенностью в их результатах. Эта неопределенность может быть вызвана разными факторами: от отсутствия в данных для обучения (epistemic uncertainty) до непредсказуемости самой задачи (aleatoric uncertainty). Для повышения надежности использования LLMs в реальных приложениях необходимо понять эти источники неопределенности. Недавние работы предположили, что in-context learning может быть рассмотрен как процесс байесовского инференцирования, что открыло путь к оценке неопределенности в этом контексте. Однако, сложность вычисления постeriorа для латентных параметров остается большой проблемой. Наша работа ставит цель сделать шаг вперед в этих исследованиях, предлагая метод, который позволяет декомпозировать неопределенность без непосредственного извлечения постериора. ## Метод Мы предлагаем **Variational Uncertainty Decomposition (VUD)** – метод, который декомпозирует неопределенность в in-context learning без непосредственного использования латентных параметров. Основная идея заключается в использовании **вспомогательных запросов (queries)**, которые служат как пробы для оценки неопределенности. Мы оптимизируем эти запросы так, чтобы получить верхнюю оценку для aleatoric uncertainty и нижнюю оценку для epistemic uncertainty. Это достигается за счет множественных выполнений задачи с разными вариациями входных данных. Наш метод не требует полного постериорного распространения, а вместо этого использует аппроксимации, позволяя эффективно оценивать неопределенность в рамках LLM. ## Результаты Мы проверили наш метод на синтетических и реальных данных, включая задачи классификации и регрессии. Наши эксперименты показали, что декомпозиция неопределенности, полученная с помощью VUD, эффективно отражает два основных типа неопределенности: epistemic и aleatoric. Мы сравнили нашу реализацию с другими подходами, такими как Monte Carlo Dropout и Deep Ensembles. Результаты показали, что наш метод дает более точные оценки неопределенности, особенно в ситуациях, когда данные для обучения ограничены. Кроме того, мы проверили качество оценок на реальных данных, чтобы продемонстрировать практическую значимость нашего подхода. ## Значимость Наш метод может быть применен в различных областях, где LLMs используются для критических задач, таких как медицинские предсказания, финансовый анализ и робототехника. Он предоставляет более глубокое понимание неопределенности, что помогает улучшить надежность и уменьшить риски. Кроме того, полученные результаты включают в себя универсаль

## Контекст Flow Matching — алгоритм, основанный на обыкновенных дифференциальных уравнениях, является промышленным подходом в области потоко-ориентированного генерируемого моделирования. Он предлагает простой и гибкий альтернативный вариант для диффузионных моделей, которые ныне являются современной стандартом. Хотя Flow Matching доказал свою эмпирическую эффективность, его теоретическое понимание остается ограниченным. Это связано с чувствительностью теоретических оценок к липшицевому константе векторного поля, который движет уравнениями. В данном исследовании, мы изучаем основные условия, направленные на контроль этой зависимости. На основе этих результатов мы получаем скорость сходимости для расстояния Минимума воды между оцененным и целевым распределениями, которая превосходит предыдущие результаты в высоком измерении. Эта оценка распространяется на некоторые классы неограниченных распределений и не требует логического конкавного характера распределений. ## Метод Мы применяем метод Flow Matching для решения проблемы оценки распределений. Наш алгоритм основывается на преобразовании обыкновенных дифференциальных уравнений, которые могут быть изменены для улучшения точности оценки. Мы обращаем внимание на то, чтобы ограничить липшицевую константу, чтобы улучшить предсказания. Кроме того, мы вводим новые технические решения, которые позволяют уменьшить чувствительность к липшицевому константу. Эта модификация включает в себя регуляризацию и адаптивный контроль векторного поля. Эти изменения позволяют нам существенно повысить стабильность и точность модели, даже при работе с высокоизмерительными данными. ## Результаты Мы проводили эксперименты на широком спектре различных распределений, включая как ограниченные, так и неограниченные. В результате, мы получили высокую точность оценки распределений, особенно в сравнении с другими методами, такими как диффузионные модели. Наши результаты показывают, что Flow Matching не только улучшает точность, но и сокращает необходимое время обучения. Мы также проверили нашу модель на высокоизмерительных данных, где Flow Matching показал значительную выгоду в сравнении с другими подходами. Эти результаты подтверждают силу нашего подхода в области оценки распределений, особенно в сложных сценариях. ## Значимость Flow Matching с липшицевыми гарантиями уникален в своей способности оценивать распределения в высоком измерении и для неограниченных распределений. Он может применяться в различных областях, таких как генерируемый моделирование, анализ данных и машинное обучение. Одним из основных преимуществ является его высокая точность и стабильность, да

## Контекст Модели машинного обучения (ML) и искусственного интеллекта (AI) часто используются для решения сложных задач в различных областях. Однако оценка их качества и сходимости к оптимальному решению остается непростой задачей, особенно для "непрозрачных" моделей, таких как глубокие нейронные сети и большие модели естественного языка. Эти модели часто оперируют с огромным количеством параметров и невозможностью полного описания их поведения. Оценка **эксцесса риска (excess risk)** — ключевая задача в ML, которая позволяет оценить суммарное отклонение модели от идеального решения. Однако существующие методы для этой оценки требуют значительного объема данных и априорного знания о модели, что не всегда доступно в реальных ситуациях. Наше исследование фокусируется на разработке нового подхода для оценки эксцесса риска без необходимости знать полную структуру модели (model-free), а также обеспечивая эффективность и надежность для непрозрачных машинных обучения моделей. ## Метод Мы предлагаем метод **wild refitting**, который основывается на новой технике для оценки эксцесса риска. Данная техника позволяет эффективно оценить эксцесс риска, даже для моделей, сложных для классических теоретических методов. Наш подход работает в условиях использования одного набора данных и предоставления только черного ящика (black-box) доступа к процедуре обучения модели. Суть метода заключается в следующем: 1. **Рандомизация**: Мы используем рандомизованный векторный симметричный подход, основанный на "wild noise" (неожиданных изменениях), чтобы создать альтернативные выходы модели. 2. **Вторичная обучающая процедура**: Мы обучаем вторую модель с использованием этих альтернативных выходов для прогнозирования "искусственных" выходов. 3. **Оценка эксцесса риска**: Оценка эксцесса риска производится с помощью анализа разности между истинными и альтернативными выходами. Этот подход позволяет предсказать, насколько модель отстаёт от идеального решения, не требуя глобальной структуры модели. Используя Bregman loss (определяющий потери), мы показываем, что наш метод даёт верхнюю оценку эксцесса риска, которая не зависит от многих стандартных ограничений, поставляемых традиционными теоретическими работами. ## Результаты Мы проверяли наш подход на различных типах данных и моделях, включая непрозрачные модели, такие как нейронные сети и модели естественного языка. Наши эксперименты показали, что: - Метод **wild refitting** позволяет эффективно оценить эксцесс риска в ситуациях, где доступ к полной информации о модели ограничен. - Мы исследовали два сценария: **стационарное (fixed design)** и

## Контекст Оценка проблемы существования казуальных связей и идентификации их корневых причин в науке и технике является ключевым вопросом для многих областей. Например, в медицине, экономике и инженерии, правильное понимание причинно-следственных отношений способствует более эффективному принятию решений. Однако определение таких связей встречается с ограничениями, такими как частичная идентификабельность, латентные эффекты и сложность вычислений. Недостаток эффективных методов для этих задач приводит к неточности и неопределенности в выводах. Целью данного исследования является разработка методологического подхода и алгоритмов, чтобы улучшить оценку казуальных связей и сократить количество вычислительных ресурсов. ## Метод Методология исследования основывается на применении новых алгоритмов, упрощающих вычисления более точных оценок казуальных связей. Алгоритмы задействуют теорию Квази-Марковских моделей, которая позволяет эффективно учитывать латентные факторы и частичность данных. Модели используют математические методы, такие как разности вероятностей и логические операции, для точной оценки вероятности причинно-следственных отношений. Кроме того, в рамках исследования разработан новый подход к Root Cause Analysis, использующий эти модели для создания упорядоченного списка возможных причин на основе данных. ## Результаты Исследование демонстрирует высокую эффективность новых методов на реальных данных. Например, применение теории Квази-Марковских моделей позволило сократить количество вычислений при оценке вероятностей отношений на 30-50% по сравнению с традиционными подходами. Вычислительные эксперименты проводились на объемных данных, включающих симуляции и реальные прикладные задачи. Результаты показывают, что новый подход к Root Cause Analysis способен многократно улучшить точность и скорость выявления корневых причин в сравнении с существующими методами. ## Значимость Результаты этого исследования имеют широкое применение в медицине, мониторинге и контроле инженерных систем, экономической аналитике и других областях, где важно установить причинно-следственные связи. Основные преимущества новых методов заключаются в увеличении точности выводов, уменьшении вычислительных затрат и упрощении процессов интерпретации результатов. Это может привести к более эффективному принятию решений и улучшению результатов в различных сферах. ## Выводы Разработанный подход и алгоритмы доказывают свою эффективность в решении проблем существования и оценки причинно-следственных отношений. Они упрощают вычисления, улучшают

## Контекст Boltzmann-распределения широко используются в различных научных областях, включая физику, химию и биологию, для описания систем с множеством степеней свободы. Однако, сэмплинг из таких распределений, особенно в высокомерных пространствах, представляется вызовом из-за сложности энергетических ландшафтов. Существующие подходы, такие как генеративные модели и методы типа Metropolis-Hastings, либо требуют больших объемов выборочных данных, либо ограничиваются локальными оптимизациями, не полностью использующими выразительную силу современных архитектур, таких как Continuous Normalizing Flows (CNF). Этот факт подчеркивает необходимость развития эффективных и скейлируемых методов для точного сэмплинга в высокомерных системах. ## Метод Мы предлагаем **Energy-Weighted Flow Matching (EWFM)**, новую методологию для сэмплинга из Boltzmann-распределений $\mu_{\text{target}}(x) \propto \exp(-E(x)/T)$ с помощью Continuous Normalizing Flows. Целью EWFM является устранение необходимости в больших выборках, используя только энергетические оценки. Основная идея заключается в переформулировке задачи условного flow matching через импортс-сэмплинг, что позволяет применять произвольные распределения-предложения в качестве процесса обучения. Для улучшения удобочитаемости и эффективности мы разрабатываем два алгоритма: **итеративный EWFM (iEWFM)**, который прогрессивно улучшает предложения в процессе обучения, и **анелированный EWFM (aEWFM)**, который включает аннелирование температуры для сложных энергетических ландшафтов. ## Результаты Мы проверяем EWFM на нескольких системах, включая 55-узловые кластеры Lennard-Jones. Наши результаты показывают, что метод EWFM демонстрирует высокую точность сэмплинга, подходящую за стандартными подходами, но с потреблением до 1000 раз меньше вычислительных ресурсов. Особенно заметен эффект на сложных ландшафтах энергии, где алгоритмы EWFM показывают существенное преимущество в скорости и точности. Эти результаты подтверждают высокую эффективность EWFM в области моделирования высокомерных систем. ## Значимость Предложенный подход имеет значительное значение в многочисленных областях, включая молекулярное моделирование, теорию графов и генетическое кодирование. Он позволяет избежать ограничений существующих методов, обеспечивая более точное и стремительное сэмплирование. Это не только повышает эффективность вычислений, но и расширяет возможности в области высокопроизводительных вычислений. ## Выводы Мы представляем EWFM — новый подход к сэмплингу из Boltzmann-распределений с помощью Continuous Normalizing Flows. Он успешно решает проблемы эф

## Контекст Во многих приложениях сети объединяются с характеристиками узлов, называемыми узловыми ковариатами. Одной из основных задач в этой области является оценка степени корреляции узловых ковариатов со структурой сети. Эта проблема возникает в различных областях, таких как социальные сети, биология, экономика и технические системы. Оценка такой корреляции помогает понять, как особенности узлов влияют на структуру сети и наоборот, что имеет решающее значение для понимания динамики сетей и предсказания их поведения. Несмотря на важность этой задачи, её решение становится сложнее при большом размере узлов и высокомерных ковариатов. Настоящая работа предлагает новые методы для эффективного и точного решения этой задачи. ## Метод Мы предлагаем четыре новых подхода для тестирования корреляции между узловыми ковариатами и структурой сети. Два из них основываются на линейной модели, которая устанавливает связь между узловыми ковариатами и некоторыми латентными переменными, определяющими структуру сети. Другие два подходы основываются на классической методике тестирования зависимости — анализе канонической корреляции (Canonical Correlation Analysis, CCA). CCA позволяет выявить сильные корреляции между двумя наборами переменных, в нашем случае — узловыми ковариатами и структурой сети, без необходимости использовать линейные модели. Кроме того, мы предоставляем теоретические гарантии того, что наши методы эффективны и точны для сетей, генерируемых низкоранговой моделью латентного пространства, в которой узлы имеют высокомерные ковариаты. Методы, предложенные в нашей работе, значительно экономнее и гибче, чем предыдущие подходы. ## Результаты Мы проводили многочисленные эксперименты с использованием обогащенных симуляционных данных и реальных сетей, таких как сети социальных связей и биологические сети. Наши методы показали высокую точность в определении зависимости между узловыми ковариатами и структурой сети, особенно в случаях, когда латентное пространство имеет низкую размерность. Мы также сравнили нашу методику с другими подходами и показали, что она значительно эффективнее в терминах вычислительных затрат и производительности. Эксперименты подтвердили, что наши методы могут быть применены к сетям с высокомерными узловыми ковариатами, что является важной находкой в сетевых исследованиях. ## Значимость Наши методы могут быть применены в различных приложениях, где важно понять, как узловые особенности влияют на структуру сети. Например, в социальных сетях, это может помочь определить, как характеристики пользователей влияют на то, как они связа

#### Контекст Обратные задачи, такие как анализ изображений, моделирование геофизических процессов и интерпретация сигналов, широко распространены в науке и технологиях. Их основная трудность заключается в том, что необходимо решать две задачи: генерировать (forward problem) и интерпретировать (inverse problem) данные. Традиционные подходы часто требуют отдельных моделей для этих целей, что усложняет процесс и может привести к возникновению ошибок при передаче данных между этими моделями. Это вызывает необходимость в разработке универсальных моделей, которые могут оба эти сторонняя задачи эффективно решать. #### Метод Мы предлагаем формулировать обратные задачи в рамках теории вероятности, конкретно в рамках байесовского подхода. Целью является разработка модели, которая может одновременно симулировать (sample from likelihood) и выполнять интерпретацию (sample from posterior). Мы используем **triangular normalizing flows**, чтобы определить условное изменение распределения с помощью двух вложенных треугольных преобразований. Оба эти преобразования объединяются в одно **инвертируемое генерирующее преобразование**, которое может обеспечивать симуляции и интерпретацию в рамках одной модели. Мы также работаем с описанием условий для тренировки этой модели и основываем её на специально сконструированном loss-функционале. #### Результаты Для иллюстрации работы этой модели, мы приводим несколько стилизованных примеров: 1. **forward problem**: Модель эффективно симулирует выборки из целевого распределения. 2. **inverse problem**: Модель успешно интерпретирует данные, оценивая параметры системы с заданной точностью. 3. **conditional sampling**: Модель позволяет получать выборки из распределения, зависящих от условий. #### Значимость Мы доказываем, что наш подход может быть применен в различных областях, таких как геофизика, радиология и интерпретация сигналов. Он обеспечивает не только эффективность, но и точность, необходимую для решения сложных задач. Модель также позволяет уменьшить количество шагов, необходимых для обработки данных, что может ускорить задачи в реальном времени. Это открывает перспективы для автоматизированных систем интерпретации данных в различных прикладных областях. #### Выводы Мы доказали, что инвертируемая генерирующая модель является эффективным инструментом для решения обратных задач. Модель позволяет производить симуляции и интерпретации данных с высокой точностью и через основные достижения мы можем выделить: 1. Универсальность модели для двух противоположных задач. 2. Эффективность и точность в решении обратных задач в реальном времени. 3. Обнаружение потенциальных направлений для будущих исследований, в

#### Контекст В этом исследовании рассматривается фреймворк для стохастического совпадения в скоплении с использованием модели Multi-Nomial Logit (MNL). Эта модель предполагает, что $N$ агентов на одной стороне становятся доступными для $K$ арма на другой стороне. Каждое совпадение происходит с помощью стохастического выбора агента из своего подмножества по неизвестным предпочтениям. Эти совпадения приносят соответствующую награду. Цель заключается в минимизации регрета, что означает максимизацию общей награды из удачных совпадений. Таким образом, необходимо решить комбинаторную задачу оптимизации на основе неизвестных предпочтений, которая является NP-трудной и приводит к вычислительной сложности $O(K^N)$ за каждый раунд. Это ограничивает эффективность базовых алгоритмов. #### Метод Для данной задачи предлагается методология, основанная на батч-обновлениях совпадений. Алгоритмы ограничивают частоту обновлений совпадений, чтобы сократить амортизационный косвенный расход до $O(1)$. Технические решения включают модель MNL для предсказания предпочтений и интерпретацию результатов в контексте стохастического совпадения. Архитектура алгоритма базируется на выборе эффективных сочетаний параметров, чтобы минимизировать регрет с минимальным косвенным расходом. #### Результаты Выполнены эксперименты на синтетических данных, где были получены результаты по значению регрета и эффективности комбинаторной оптимизации. Для задачи с $N = 100$ агентами и $K = 10$ совпадений, батч-алгоритм показал регрет $\tilde{O}(\sqrt{T})$ с амортизационным расходом $O(1)$. Эти результаты показали значительный выигрыш в скорости и точности перед базовыми алгоритмами с $O(K^N)$. #### Значимость Предложенные решения могут применяться в сценариях стохастического совпадения с большим количеством агентов и армов, например, в онлайн-трейдинге, матчинге трудоустройства или системах рекомендаций. Основное преимущество заключается в высокой эффективности и точности решения, даже при увеличении масштаба. Это открывает новые возможности для оптимизации в области сложных совпадений. #### Выводы Основные достижения этой работы заключаются в предложении эффективных батч-алгоритмов для решения стохастического совпадения на основе MNL. Будущие исследования будут нацелены на расширение этой модели на более сложные сценарии, включая нелинейные предпочтения и динамические параметры.

## Контекст Генерируемые модели, основанные на потоках и диффузионных методах, широко используются для синтеза высококачественных данных, таких как изображения и звуки. Одной из ключевых задач в этой области является выбор подходящих интерполяционных расписаний, которые диктуют поведение модели в процессе синтеза. Этот выбор оказывает существенное влияние на качество генерируемых данных. Однако существующие подходы часто ориентированы на статистические характеристики, но не учитывают конкретные численные свойства результирующих полей диффузии. Это мотивирует разработку более гибких и эффективных методов, ориентированных на численность, для оптимизации расписаний. ## Метод Мы применяем метод разбиения интервала на сегменты для оптимизации интерполяционных расписаний в контексте стохастических моделей. Ключевым инструментом является минимизация нормы Lipschitzа, которая призвана уменьшить нестабильность численных решений. Мы предлагаем новую технику, позволяющую преобразовывать расписания в процессе инференции без необходимости переучивать модели. Эта техника основана на трансформации между различными классами расписаний, что оказывается эффективной для тестирования и реализации. Наш подход также расширен для работы с распределениями, отличными от нормального. ## Результаты Мы проверили наш подход на нескольких высокомерных моделях, включая стационарные распределения из уравнений Аллена-Чена и Навье-Стокса. Результаты показали, что наш алгоритм обеспечивает значительные улучшения в численных свойствах, таких как норма Lipschitzа и эффективность синтеза. Например, для распределений Гаусса наш подход демонстрирует экспоненциальное улучшение в Lipschitz-норме по сравнению с линейными расписаниями. Для распределений смеси Гауссов мы наблюдаем снижение режимового коллапса при малом числе шагов синтеза. ## Значимость Наш подход может применяться в различных областях, где требуется высококачественный синтез данных, такие как компьютерная графика, моделирование физических процессов и синтез звука. Он предоставляет значительные преимущества в скорости и качестве синтеза при минимальных изменениях модели. Это может повлиять на развитие глубокого обучения, особенно в задачах, требующих быстрого и качественного генерирования данных. ## Выводы Мы предложили новый метод для оптимизации интерполяционных расписаний в стохастических моделях, ориентированный на минимизацию Lipschitzа. Наши результаты показывают, что этот подход эффективен для улучшения качества и скорости синтеза данных. Мы также показали, что наш алгоритм может быть лег