Score-informed Neural Operator for Enhancing Ordering-based Causal Discovery
2508.12650v1
cs.LG, cs.AI, I.2.6; I.2.8
2025-08-20
Авторы:
Jiyeon Kang, Songseong Kim, Chanhui Lee, Doyeong Hwang, Joanie Hayoun Chung, Yunkyung Ko, Sumin Lee, Sungwoong Kim, Sungbin Lim
Резюме на русском
## Контекст
Ordering-based методы для поиска причинных связей исследуют топологический порядок в структурах каузальных графов. Эти методы являются более эффективными по сравнению с полным поиском в комбинаторических пространствах. Новые подходы, основанные на Additive Noise Model (ANM), используют score matching для оценки градиентов и Hessian-диагонали лог-плотностей. Тем не менее, существующие методы, основанные на Stein-градиентах, требуют высокого вычислительного и памятного воздействия, что ограничивает их эффективность. Другие подходы, такие как DiffAN, используют диффузионные модели для оценки Hessian-диагонали, но страдают от ненадежности в решении второго порядка дифференциальных уравнений. Мы предлагаем Score-informed Neural Operator (SciNO), который предназначен для стабильной оценки Hessian-диагонали в пространствах гладких функций, сохраняя структурную информацию во время моделирования. Наш подход может быть успешно применен в области каузальных исследований и подходах к моделированию семантики.
## Метод
SciNO является проблемой в пространствах гладких функций, основанной на методе нейронных операторов. Он использует diffusion-based методы для точной оценки Hessian-диагонали, избегая вычислительных и памятных проблем, с которыми сталкиваются подходы Stein-градиента. Метод нового типа использует второй порядок диффузионных моделей, что позволяет обеспечить более стабильное и точное определение причинных связей. Он также включает авторегрессионные модели, которые интегрируют выводы SciNO в виде вероятностных оценок, улучшая понимание семантики в каузальных моделях.
## Результаты
Мы проводили эксперименты на синтетических и реальных данных, сравнивая SciNO с DiffAN и другими предыдущими методами. На синтетических данных, мы получили результаты с ошибкой относительного порядка 42.7% ниже DiffAN, а на реальных данных — 31.5%. Эти результаты показывают, что SciNO обеспечивает более точное и надежное определение причинных связей, при этом характеризуясь высокой масштабируемостью и эффективностью в памяти. Благодаря интеграции с авторегрессионными моделями, SciNO улучшает каузальные модели, делая их более надежными для решения задач семантической информации.
## Значимость
Процесс моделирования причинных связей имеет важное значение в машинном обучении и статистических выводах. SciNO улучшает эффективность этого процесса, обеспечивая более точный порядок причинных связей. Он также имеет широкие приложения в таких областях, как медицинские исследования, технологии Интернета вещей и анализ данных в сетях социальных связей. Интеграция с авто
Abstract
Ordering-based approaches to causal discovery identify topological orders of
causal graphs, providing scalable alternatives to combinatorial search methods.
Under the Additive Noise Model (ANM) assumption, recent causal ordering methods
based on score matching require an accurate estimation of the Hessian diagonal
of the log-densities. However, previous approaches mainly use Stein gradient
estimators, which are computationally expensive and memory-intensive. Although
DiffAN addresses these limitations by substituting kernel-based estimates with
diffusion models, it remains numerically unstable due to the second-order
derivatives of score models. To alleviate these problems, we propose
Score-informed Neural Operator (SciNO), a probabilistic generative model in
smooth function spaces designed to stably approximate the Hessian diagonal and
to preserve structural information during the score modeling. Empirical results
show that SciNO reduces order divergence by 42.7% on synthetic graphs and by
31.5% on real-world datasets on average compared to DiffAN, while maintaining
memory efficiency and scalability. Furthermore, we propose a probabilistic
control algorithm for causal reasoning with autoregressive models that
integrates SciNO's probability estimates with autoregressive model priors,
enabling reliable data-driven causal ordering informed by semantic information.
Consequently, the proposed method enhances causal reasoning abilities of LLMs
without additional fine-tuning or prompt engineering.