Transforming Causality: Transformer-Based Temporal Causal Discovery with Prior Knowledge Integration

## Контекст Исследование причинно-следственных связей во временных рядах является ключевым заданием в различных областях, таких как медицина, финансы и инженерия. Однако существуют две главные проблемы: сложные нелинейные зависимости и спуриовые корреляции, которые сделали традиционные методы менее эффективными. Необходимо разработать метод, который может обнаруживать причинные связи в нетривиальных ситуациях, с учетом нетопологических связей и многоуровневых зависимостей. Наша мотивация заключается в создании метода, который бы стал более точным и устойчивым в распознавании причинных связей в различных практических задачах. ## Метод Мы предлагаем использовать Transformer-based time-series forecaster, который может обнаруживать нелинейные зависимости во временных рядах. Форекастер имеет несколько слоёв, что позволяет ему построить глубокий анализ зависимостей в данных. Чтобы определить причинные связи и временные задержки, мы используем градиентный анализ на выходных данных модели. Также, мы внедрили механизм подключения предварительных знаний, основывающийся на маскировании внимания (attention masking). Этот механизм позволяет постоянно исключать нежелательные причинные связи на разных уровнях модели, что улучшает её устойчивость и точность. ## Результаты Мы проверили нашу модель на нескольких стандартных наборах данных, включая Google Stock Price и MSR Body Sensor Data. Мы сравнивали нашу модель с другими современными методами, такими как NOTEARS и GCL. Наши результаты показали, что Transformer-based forecaster показал 12.8% выигрыш в F1-меру по сравнению с другими методами, а точность оценки временных задержек достигла 98.9%. Эти результаты подчеркивают эффективность нашего подхода в задачах обнаружения причинных связей. ## Значимость Мы предлагаем новый подход к обнаружению причинных связей в временных рядах, который может быть применен в таких областях, как медицинское мониторинго, финансовый анализ и прогнозирование биологических процессов. Наш метод показал себя как более точный и устойчивый по сравнению с другими существующими. Из-за того, что он использует Transformer-based архитектуру и механизмы подключения предварительных знаний, он может быть применён в сложных ситуациях, где другие модели могут представлять собой проблемы. ## Выводы Мы представили новую модель для обнаружения причинных связей во временных рядах, использующую Transformer-based forecaster и механизмы маскирования внимания. Мы продемонстрировали, что наш подход значительно улучшает точность и устойчивость в задачах обнаружения причинных связей. Наше исследование открывает новые пути для будущих исследований в этой области, вкл