Meta-Learning Theory-Informed Inductive Biases using Deep Kernel Gaussian Processes
2509.24919v1
cs.AI, q-bio.NC
2025-10-01
Авторы:
Bahti Zakirov, Gašper Tkačik
Резюме на русском
#### Контекст
Нейробиология становится все более нуждающейся в сформулированных теориях, которые могут объяснить сложные паттерны в данных, организовать данные в значимые модели и предоставить подходы для проверки этих моделей. Некоторые теории, такие как нормативные и задачно-ориентированные, предлагают ценные топоданные объяснения. Однако проблема заключается в том, что существует недостаток систематизированных методов для тестирования этих теорий на реальных данных, что делает их применение необходимым, но затрудненным. Наша работа направлена на решение этой проблемы, предложив метод, который автоматически преобразует теоретические предсказания в модели, позволяющие значимо оценить их в связи с данными.
#### Метод
Мы предлагаем новый метод, основанный на теории глубоких ядер Гауссовских процессов. Данный подход позволяет адаптировать модель к данным, используя нормативные теории для генерирования синтетических данных, на которых обучается модель. Мы используем нейронные сети с глубокими ядрами для учета сложных зависимостей в данных. Этот глубокий гауссовский процесс становится теория-информированным рамфреймом, который позволяет сопоставить теоретические предсказания с данными, а также построить уверенность в модели.
#### Результаты
Мы применили нашу модель к экспериментам с экс виво мишей, где мы сравнили прогнозы модели с реальными данными экспериментов. Мы показали, что модель успешно предсказывала ответы сети ганглионных клеток мышей при визуальной стимуляции естественных сцен, превосходя стандартные модели, основанные только на данных. Наша модель также демонстрирует высокую точность прогнозирования и точные оценки неопределенности, что позволяет лучше понимать результаты. Кроме того, мы проверили модель на способность точно оценить то, насколько хорошо теория соответствует данным, и показали её эффективность.
#### Значимость
Наш подход может быть применен в различных областях, включая нейропсихологию и нейропрограммирование. Он предлагает новый способ интеграции теоретической знания с данными. Это позволяет лучше понять ключевые характеристики системы, улучшить прогнозирование и позволяет оценивать качество моделей в рамках нормативных теорий. Этот подход может позволить ускорять исследования в нейробиологии, предоставляя возможность использовать более широкий круг теоретических моделей в задачах данных.
#### Выводы
Мы представили новую модель, которая автоматически преобразует теоретические знания в модели, позволяющие лучше прогнозировать данные и проверить теоретич
Abstract
Normative and task-driven theories offer powerful top-down explanations for
biological systems, yet the goals of quantitatively arbitrating between
competing theories, and utilizing them as inductive biases to improve
data-driven fits of real biological datasets are prohibitively laborious, and
often impossible. To this end, we introduce a Bayesian meta-learning framework
designed to automatically convert raw functional predictions from normative
theories into tractable probabilistic models. We employ adaptive deep kernel
Gaussian processes, meta-learning a kernel on synthetic data generated from a
normative theory. This Theory-Informed Kernel specifies a probabilistic model
representing the theory predictions -- usable for both fitting data and
rigorously validating the theory. As a demonstration, we apply our framework to
the early visual system, using efficient coding as our normative theory. We
show improved response prediction accuracy in ex vivo recordings of mouse
retinal ganglion cells stimulated by natural scenes compared to conventional
data-driven baselines, while providing well-calibrated uncertainty estimates
and interpretable representations. Using exact Bayesian model selection, we
also show that our informed kernel can accurately infer the degree of
theory-match from data, confirming faithful encapsulation of theory structure.
This work provides a more general, scalable, and automated approach for
integrating theoretical knowledge into data-driven scientific inquiry in
neuroscience and beyond.
Ссылки и действия
Дополнительные ресурсы: