📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Jiyeon Kang, Songseong Kim, Chanhui Lee, Doyeong Hwang, Joanie Hayoun Chung, Yunkyung Ko, Sumin Lee, Sungwoong Kim, Sungbin Lim
## Контекст
Ordering-based методы для поиска причинных связей исследуют топологический порядок в структурах каузальных графов. Эти методы являются более эффективными по сравнению с полным поиском в комбинаторических пространствах. Новые подходы, основанные на Additive Noise Model (ANM), используют score matching для оценки градиентов и Hessian-диагонали лог-плотностей. Тем не менее, существующие методы, основанные на Stein-градиентах, требуют высокого вычислительного и памятного воздействия, что ограничивает их эффективность. Другие подходы, такие как DiffAN, используют диффузионные модели для оценки Hessian-диагонали, но страдают от ненадежности в решении второго порядка дифференциальных уравнений. Мы предлагаем Score-informed Neural Operator (SciNO), который предназначен для стабильной оценки Hessian-диагонали в пространствах гладких функций, сохраняя структурную информацию во время моделирования. Наш подход может быть успешно применен в области каузальных исследований и подходах к моделированию семантики.
## Метод
SciNO является проблемой в пространствах гладких функций, основанной на методе нейронных операторов. Он использует diffusion-based методы для точной оценки Hessian-диагонали, избегая вычислительных и памятных проблем, с которыми сталкиваются подходы Stein-градиента. Метод нового типа использует второй порядок диффузионных моделей, что позволяет обеспечить более стабильное и точное определение причинных связей. Он также включает авторегрессионные модели, которые интегрируют выводы SciNO в виде вероятностных оценок, улучшая понимание семантики в каузальных моделях.
## Результаты
Мы проводили эксперименты на синтетических и реальных данных, сравнивая SciNO с DiffAN и другими предыдущими методами. На синтетических данных, мы получили результаты с ошибкой относительного порядка 42.7% ниже DiffAN, а на реальных данных — 31.5%. Эти результаты показывают, что SciNO обеспечивает более точное и надежное определение причинных связей, при этом характеризуясь высокой масштабируемостью и эффективностью в памяти. Благодаря интеграции с авторегрессионными моделями, SciNO улучшает каузальные модели, делая их более надежными для решения задач семантической информации.
## Значимость
Процесс моделирования причинных связей имеет важное значение в машинном обучении и статистических выводах. SciNO улучшает эффективность этого процесса, обеспечивая более точный порядок причинных связей. Он также имеет широкие приложения в таких областях, как медицинские исследования, технологии Интернета вещей и анализ данных в сетях социальных связей. Интеграция с авто
Annotation:
Ordering-based approaches to causal discovery identify topological orders of
causal graphs, providing scalable alternatives to combinatorial search methods.
Under the Additive Noise Model (ANM) assumption, recent causal ordering methods
based on score matching require an accurate estimation of the Hessian diagonal
of the log-densities. However, previous approaches mainly use Stein gradient
estimators, which are computationally expensive and memory-intensive. Although
DiffAN addresses these limit...