Causal-Symbolic Meta-Learning (CSML): Inducing Causal World Models for Few-Shot Generalization
2509.12387v1
cs.LG, cs.AI, stat.ML
2025-09-18
Авторы:
Mohamed Zayaan S
Резюме на русском
## Контекст
Modern deep learning models отличаются сильным увлечением за спуриозными корреляциями, что приводит к низкому уровню общезначимости и к необходимости подготовки огромных выборок данных. Это ограничение особенно чувствительно в ситуациях, где необходима высокая производительность, а данных для обучения недостаточно. Одна из ключевых причин этого ограничения заключается в отсутствии понимания причинно-следственных связей в этих моделях. Чтобы избежать этих проблем, необходимо развитие моделей, которые могут учитывать причинно-следственные связи и использовать их для вывода и понимания.
В настоящей работе мы предлагаем **Causal-Symbolic Meta-Learning (CSML)**, новую архитектуру, которая способна выявлять и использовать причинно-следственные структуры для мета-обучения. CSML объединяет модули перцепции, ориентированные на извлечение символических представлений, модули разбора причинно-следственных связей и модули логического рассуждения для точного прогнозирования. Эта архитектура позволяет CSML быстро адаптироваться к новым задачам, включая те, которые требуют анализа интервенций и кантов, даже при ограниченных данных. Мы вводим новый бенчмарк CausalWorld, который позволяет протестировать эти улучшения.
## Метод
**Causal-Symbolic Meta-Learning** состоит из трех основных модулей. **Перцепционный модуль** выполняет разбор входных данных и их преобразование в символические представления. **Модуль разбора причинно-следственных связей** устанавливает причинно-следственные связи между символами, используя методы оптимизации, которые позволяют градиентно выявлять структуру причинно-следственных сетей. **Модуль логического рассуждения** использует эту структуру для прогнозирования и решения задач.
CSML работает в среде мета-обучения, где он учитывает разнообразные задачи и изучает причинно-следственные связи, которые могут быть применены к новым задачам. Новый бенчмарк CausalWorld позволяет протестировать модель в условиях взаимодействия с физическими силами и вывода причинно-следственных связей.
## Результаты
Мы провели эксперименты на синтетических и реальных данных, включая CausalWorld, и сравнили CSML с текущими моделями мета-обучения и нейро-символическими моделями. Наши результаты показывают, что CSML значительно превосходит существующие подходы в мета-обучении на разных задачах, в том числе тех, которые требуют анализа причинно-следственных связей. Модель показала высокую точность и устойчивость при малом количестве обучающих данных.
## Значимость
CSML может быть применено в различных областях, включая робототехнику, игры и обработку естественного языка. Он предлагает следующие преиму
Abstract
Modern deep learning models excel at pattern recognition but remain
fundamentally limited by their reliance on spurious correlations, leading to
poor generalization and a demand for massive datasets. We argue that a key
ingredient for human-like intelligence-robust, sample-efficient learning-stems
from an understanding of causal mechanisms. In this work, we introduce
Causal-Symbolic Meta-Learning (CSML), a novel framework that learns to infer
the latent causal structure of a task distribution. CSML comprises three key
modules: a perception module that maps raw inputs to disentangled symbolic
representations; a differentiable causal induction module that discovers the
underlying causal graph governing these symbols and a graph-based reasoning
module that leverages this graph to make predictions. By meta-learning a shared
causal world model across a distribution of tasks, CSML can rapidly adapt to
novel tasks, including those requiring reasoning about interventions and
counterfactuals, from only a handful of examples. We introduce CausalWorld, a
new physics-based benchmark designed to test these capabilities. Our
experiments show that CSML dramatically outperforms state-of-the-art
meta-learning and neuro-symbolic baselines, particularly on tasks demanding
true causal inference.
Ссылки и действия
Дополнительные ресурсы: