📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Alexander Fuchs-Kreiss, Keith Levin
## Контекст
Во многих приложениях сети объединяются с характеристиками узлов, называемыми узловыми ковариатами. Одной из основных задач в этой области является оценка степени корреляции узловых ковариатов со структурой сети. Эта проблема возникает в различных областях, таких как социальные сети, биология, экономика и технические системы. Оценка такой корреляции помогает понять, как особенности узлов влияют на структуру сети и наоборот, что имеет решающее значение для понимания динамики сетей и предсказания их поведения. Несмотря на важность этой задачи, её решение становится сложнее при большом размере узлов и высокомерных ковариатов. Настоящая работа предлагает новые методы для эффективного и точного решения этой задачи.
## Метод
Мы предлагаем четыре новых подхода для тестирования корреляции между узловыми ковариатами и структурой сети. Два из них основываются на линейной модели, которая устанавливает связь между узловыми ковариатами и некоторыми латентными переменными, определяющими структуру сети. Другие два подходы основываются на классической методике тестирования зависимости — анализе канонической корреляции (Canonical Correlation Analysis, CCA). CCA позволяет выявить сильные корреляции между двумя наборами переменных, в нашем случае — узловыми ковариатами и структурой сети, без необходимости использовать линейные модели. Кроме того, мы предоставляем теоретические гарантии того, что наши методы эффективны и точны для сетей, генерируемых низкоранговой моделью латентного пространства, в которой узлы имеют высокомерные ковариаты. Методы, предложенные в нашей работе, значительно экономнее и гибче, чем предыдущие подходы.
## Результаты
Мы проводили многочисленные эксперименты с использованием обогащенных симуляционных данных и реальных сетей, таких как сети социальных связей и биологические сети. Наши методы показали высокую точность в определении зависимости между узловыми ковариатами и структурой сети, особенно в случаях, когда латентное пространство имеет низкую размерность. Мы также сравнили нашу методику с другими подходами и показали, что она значительно эффективнее в терминах вычислительных затрат и производительности. Эксперименты подтвердили, что наши методы могут быть применены к сетям с высокомерными узловыми ковариатами, что является важной находкой в сетевых исследованиях.
## Значимость
Наши методы могут быть применены в различных приложениях, где важно понять, как узловые особенности влияют на структуру сети. Например, в социальных сетях, это может помочь определить, как характеристики пользователей влияют на то, как они связа
Annotation:
In many application domains, networks are observed with node-level features.
In such settings, a common problem is to assess whether or not nodal covariates
are correlated with the network structure itself. Here, we present four novel
methods for addressing this problem. Two of these are based on a linear model
relating node-level covariates to latent node-level variables that drive
network structure. The other two are based on applying canonical correlation
analysis to the node features and net...
Авторы:
Xiaohan Wang, Yang Ning
## Контекст
В области машинного обучения и статистики возникают часто задачи, требующие передачи знаний из одной области (или задачи) в другую, где данные или условия не полностью совпадают. Этот процесс, известный как **transfer learning**, применяется для улучшения производительности моделей на новых данных, особенно когда доступны мало обучающих примеров в новой области. Одна из сложных проблем в этой области — оценка индивидуальных персонализированных правил лечения (Individualized Treatment Rules, ITRs). Традиционные подходы к оценке ITRs опираются на выборку, соответствующую конкретной области, и могут неэффективно работать при смене условий или доступа к новым данным. Наша исследовательская мотивация заключается в развитии методов, позволяющих эффективно переносить знания из одного контекста в другой, особенно в случае изменения правил решения (decision rule drift).
## Метод
Мы развиваем фреймворк **transfer learning** для задач классификации, основываясь не на регрессионных функциях, а на **decision rules** (более естественном представлении решений). Методология основывается на моделировании **posterior drift** (изменений в данных или условиях) с помощью **Bayes decision rules**. Мы предлагаем новую технику, где решение преобразуется в **low-dimensional empirical risk minimization problem**, используя геометрическую трансформацию **Bayes decision boundary**. Это позволяет эффективно адаптировать модели к новым условиям, сохраняя гибкость и точность. Мы также устанавливаем условия консистентности и оцениваем оптимальные решения, используя теорию математической статистики.
## Результаты
Мы проводим подробные эксперименты на **симуляционных данных** и **реальных задачах**, включая приложение к оценке **optimal individualized treatment rules (ITRs)**. Наши результаты показывают, что предложенный подход не только эффективно адаптируется к **decision rule drift**, но и превосходит традиционные методы по метрикам производительности и сохраняет низкий **risk bound**. Мы также проводим анализ, показывающий широту применения нашего подхода, включая сценарии с ресурсными ограничениями и высокой динамикой изменений.
## Значимость
Наш подход имеет распространенное применение в сферах **клинической медицины**, **рекламы**, **финансов** и **робототехники**, где изменения условий часто приводят к изменений в правилах решений. Он предоставляет преимущества в **доступности ресурсов**, **гибкости**, и **качестве решений**. Мы также отмечаем, что наш подход может способствовать развитию **personalized medicine**, где требуется функционально подстраиваться под индивидуальные пациентские факторы.
## Выводы
Мы успешно расширяем фреймворк **transfer learning** для задач классификации, когда возникает изменение правил решений. Наш метод показывает сильную поддержку **теоретическими до
Annotation:
In this paper, we extend the transfer learning classification framework from
regression function-based methods to decision rules. We propose a novel
methodology for modeling posterior drift through Bayes decision rules. By
exploiting the geometric transformation of the Bayes decision boundary, our
method reformulates the problem as a low-dimensional empirical risk
minimization problem. Under mild regularity conditions, we establish the
consistency of our estimators and derive the risk bounds. Mo...
Авторы:
Jianqing Fan, Soham Jana, Sanjeev Kulkarni, Qishuo Yin
## Контекст
Оценка среднего эффекта лечения (ATE) — важная задача в медицине, экономике и социальных науках, которая позволяет определять влияние некоторого лечения или воздействия на группу людей. Существуют сложности при оценке ATE, в том числе из-за высокой размерности данных, высокой корреляции признаков и существования спарших нелинейных эффектов в моделях пропensity и результата. Эти модели часто являются высоко-мерной и нетривиальной, что создает вызовы для существующих методов. Необходимо разработать метод, который может эффективно работать с такими характеристиками данных.
## Метод
Мы предлагаем Double Deep Learning подход, который объединяет недавно разработанные factor-augmented deep learning-based estimators, FAST-NN, для оценки результата и модели наиболее вероятности. FAST-NN делает это непараметрически, используя глубокие нейронные сети для выбора значимых признаков и адаптивного уменьшения размерности моделей. Основываясь на этом, мы предлагаем FIDDLE (Factor Informed Double Deep Learning Estimator), который использует augmented inverse propensity weighting (AIPW) для оценки ATE. Этот подход обеспечивает глубокую адаптивность для выбора признаков и моделирования, что дает ему высокую точность и гибкость.
## Результаты
Мы проводили ряд экспериментов на синтетических и реальных данных, показав высокую точность FIDDLE в оценке ATE. Мы использовали различные модели, включая сложные, высоко-мерные и спаршные. Наши результаты показали, что FIDDLE обеспечивает более точные оценки в сравнении с другими существующими методами, особенно когда размер данных и размерность признаков высоки. Мы также продемонстрировали, что FIDDLE поддерживает гибкость в работе с различными моделями и может восстанавливать ATE даже при потенциальной неверной модели.
## Значимость
Наш метод широко применим в медицинских исследованиях, экономических моделях и других областях, где важно оценить влияние внешних факторов на результаты. FIDDLE обеспечивает высокую точность и устойчивость при работе с высоко-мерными и спаршными данными, что делает его предпочтительным в сложных задачах. Благодаря использованию нейронных сетей, FIDDLE может адаптироваться к различным условиям данных, что делает его гибким и мощным инструментом.
## Выводы
Мы представили FIDDLE — новый подход к оценке ATE, который объединяет нейронные сети и factor-augmented deep learning. Этот метод доказал свою эффективность в сложных задачах, особенно если данные высоко-мерны. Мы планируем продолжать развивать этот подход, оптимизировав его для работы с более сложными моделями и применяя его в реальных задачах.
Annotation:
We investigate the problem of estimating the average treatment effect (ATE)
under a very general setup where the covariates can be high-dimensional, highly
correlated, and can have sparse nonlinear effects on the propensity and outcome
models. We present the use of a Double Deep Learning strategy for estimation,
which involves combining recently developed factor-augmented deep
learning-based estimators, FAST-NN, for both the response functions and
propensity scores to achieve our goal. By using ...
Авторы:
Vladimir Berman
## Контекст
Область исследования, связанная с логичными и арифметическими свойствами цифровых данных, набирает все большую а ACADEMIC WRITING
ктивность в последние годы. Это связано с ростом количества цифровых данных и ростом интереса к их анализу, а также к их структуре. Наиболее примечательным свойством цифровых данных является распределение цифр, которое часто исследуется с помощью подходов, основанных на математических моделях или статистических методах. Однако текущие решения часто ограничены в своей способности объяснить все возможные особенности распределения цифр. Это делает необходимым развитие новых математических фреймворков, которые были бы более гибкими и объемными в своих моделях, чтобы объяснить такие феномены.
## Метод
Методология, представленная в этой работе, основывается на универсальной формуле, которая сформулирована в виде аффинной функции с периодическим компонентом. Эта формула предоставляет общий вид решения функционального уравнения, которое является центральным для рассматриваемого подхода. Обработка данных производится с помощью алгоритмов, основывающихся на детерминированных свойствах данных. Это позволяет использовать данные в разных форматах и с разными структурами. Архитектура решения включает в себя не только новые математические формулы, но и способы их применения в различных типах цифровых данных, таких как данные с фрактальными особенностями или данные с характерными блочными структурами.
## Результаты
В результате исследования было показано, что распределение цифр может быть эффективно объяснено с помощью детерминированной формулы, которая учитывает не только арифметические свойства, но и алгоритмические особенности данных. Экспериментальные результаты показали, что данный подход дает точные результаты в различных случаях, включая данные, в которых ранее применялись миксе или логарифмические модели. Это позволяет раскрыть новые характеристики, которые ранее не были доказаны. Например, было показано, что некоторые последовательности, такие как последовательности первых чисел, могут быть объяснены с помощью данного подхода.
## Значимость
Данный подход может быть применен в различных областях, включая теорию чисел, статистический анализ, информатику и даже в сфере шифрования данных. Он предоставляет более универсальный подход к моделированию цифровых данных, чем традиционные методы. Основные преимущества заключаются в том, что он позволяет охватить более широкий круг ситуаций, в том числе нестандартные случаи, которые предыдущие модели могли не обработать.
Annotation:
This article presents a modern deterministic framework for the study of
leading significant digit distributions in numerical data. Rather than relying
on traditional probabilistic or mixture-based explanations, we demonstrate that
the observed frequencies of leading digits are determined by the underlying
arithmetic, algorithmic, and structural properties of the data-generating
process. Our approach centers on a shift-invariant functional equation, whose
general solution is given by explicit aff...
📄 Likelihood Matching for Diffusion Models
2025-08-09Авторы:
Lei Qian, Wu Su, Yanqi Huang, Song Xi Chen
##########################
## Контекст
##########################
В последние годы diffusion models стали популярными в области генерируемых моделей данных. Эти модели основываются на процессе диффузии, во время которого данные постепенно изменяются по некоторой заранее заданной схеме. Тем не менее, одной из проблем этих моделей является сложность точного вычисления логарифмической вероятности данных. Этот фактор существенно влияет на качество генерируемых данных. Многие существующие подходы пытаются увеличить логарифмическую вероятность с помощью сложных методов оптимизации, которые не всегда эффективны. В этой статье мы предлагаем Likelihood Matching, подход, который стремится улучшить точность генерируемых моделей, учитывая наиболее важные аспекты диффузионного процесса.
##########################
## Метод
##########################
Предложенный подход Likelihood Matching основывается на построении эквивалентного отношения между логарифмической вероятностью целевого распределения данных и логарифмической вероятностью значений, полученных в процессе обратного диффузионного процесса. Для того, чтобы эффективно вычислять вероятности в обратном процессе, мы предлагаем использовать аппроксимацию каждого шага обратного процесса гауссовской распределения, в которой среднее и ковариация соответствуют условиям точного решения для данного шага. Мы также разработали метод оценки score и Hessian функций, который основывается на максимизации этой аппроксимации логарифмической вероятности. Это позволяет нам получать точные оценки для генерации данных. Для повышения эффективности вычислений мы ввели стохастический сэмплер, который использует оценки score и Hessian для вычисления шага диффузии.
##########################
## Результаты
##########################
Мы проверили эффективность нашего подхода с помощью нескольких экспериментов на различных датасетах. Для этого мы сравнили Likelihood Matching с существующими подходами на различных метриках качества, таких как log-likelihood, PSNR и FID. Наши результаты показали, что Likelihood Matching показывает значительное улучшение качества генерируемых данных по сравнению с другими методами, особенно в сложных сценариях с более высоким числом шагов диффузии. Кроме того, мы проверили скорость сходимости процесса и его устойчивость в зависимости от размерности данных и длины диффузионного процесса.
##########################
## Значимость
##########################
Наш подход имеет большое значение для различных приложений, таких как видеогенерация, изображение генерации и синтез речи. Likelihood Matching предлагает более точное и эффективное средство для обучения моделей, что может привести к более качественным генерируемым данным. Благодаря своей эффективности и универсальности, этот подход может быть использован в раз
Annotation:
We propose a Likelihood Matching approach for training diffusion models by
first establishing an equivalence between the likelihood of the target data
distribution and a likelihood along the sample path of the reverse diffusion.
To efficiently compute the reverse sample likelihood, a quasi-likelihood is
considered to approximate each reverse transition density by a Gaussian
distribution with matched conditional mean and covariance, respectively. The
score and Hessian functions for the diffusion ...
Авторы:
Yuxuan Tao, Adel Javanmard
Мы предлагаем новую фреймворк для приватизации модели Model-X knockoffs, позволяющую управлять False Discovery Rate (FDR) при соблюдении требований к дифференциальной приватности. Основная проблема заключается в том, что существующие методы приватизации, такие как гауссовское и лапласово шумы, нарушают основные условия сменяемости при обработке данных, необходимые для FDR-контроля. Мы используем гауссовую трансформацию Джонстона-Линденстройса для защиты выбора признаков, обеспечивая при этом примерное изометрическое сохранение ковариационных отношений. Наши теоретические результаты демонстрируют, что этот подход позволяет сохранить FDR и мощность выбора признаков при оптимальном компромиссе между приватностью и статистической мощностью. Мы устанавливаем условия для достижения сильной статистической мощности при выборе признаков, даже при строгих требованиях к приватности. Таким образом, мы объединяем две ключевые темы — технологии хоккупов для FDR-контроля и приватизацию данных — в одном фреймворке, позволяя надежно выполнять выбор признаков в контексте чувствительных приложений.
Annotation:
We introduce a novel privatization framework for high-dimensional controlled
variable selection. Our framework enables rigorous False Discovery Rate (FDR)
control under differential privacy constraints. While the Model-X knockoff
procedure provides FDR guarantees by constructing provably exchangeable
``negative control" features, existing privacy mechanisms like Laplace or
Gaussian noise injection disrupt its core exchangeability conditions. Our key
innovation lies in privatizing the data knocko...
Показано 41 -
46
из 46 записей