Efficient Ensemble Conditional Independence Test Framework for Causal Discovery

## Контекст Область исследований, известная как constraint-based causal discovery, ставится перед задачей выявления закономерностей в данных с помощью моделей, основанных на принципах логического рассуждения. Центральной задачей этой области является определение взаимозависимостей между переменными, чтобы построить модель, отражающую причинно-следственные связи. Одной из основных задач этой области является проведение множества тестов конденциональной независимости (CITs). Эти тесты являются ключевым инструментом для выявления закономерностей, но их выполнение требует высокой вычислительной стоимости, особенно при работе с большими объемами данных. Это ограничивает практическую применимость constraint-based causal discovery в реальных задачах. Существуют методы, стремящиеся улучшить эффективность таких тестов, но они либо недостаточно мощны, либо требуют сложных подготовительных работ. Наша мотивация заключается в разработке метода, который способен обеспечить эффективность и точность в проведении CITs, не требуя изменений в основной модели или дополнительных сложных манипуляций. ## Метод Мы предлагаем Ensemble Conditional Independence Test (E-CIT), фреймворк, основанный на принципе разделяй и властвуй (divide-and-conquer). E-CIT делит исходный набор данных на несколько подмножеств и применяет ко всем подмножествам один и тот же базовый тест конденциональной независимости (base CIT). Результаты отдельных тестов (p-значения) объединяются с помощью оригинального метода, основанного на свойствах стабильных распределений. Это позволяет эффективно уменьшить вычислительную стоимость каждого отдельного теста до линейной зависимости от размера выборки, когда размер подмножества фиксирован. Наш подход гарантирует теоретическую консистентность результатов при условии, что базовый тест подходит для своей задачи. Таким образом, E-CIT предлагает способ уменьшения вычислительных затрат в constraint-based causal discovery без потери точности. ## Результаты Мы проверили E-CIT на нескольких реальных датасетах, по сравнению с другими существующими подходами. В экспериментах мы измеряли общую вычислительную стоимость тестов, а также их точность в выявлении зависимостей. Наши результаты показали, что E-CIT значительно снижает время работы тестов в сравнении с базовыми методами, особенно по мере увеличения размера выборки. Также мы отметили, что E-CIT сохраняет высокую точность в выявлении закономерностей, даже при выполнении на больших наборах данных. Эксперименты также подтвердили, что E-CIT может интегрироваться с разными базовыми тестами CIT, что делает его широко применимым в разных сферах. ## Значимость Проведенные исследования показывают, что E-CIT может быть применено в ситуациях, г