Meta-Learning Theory-Informed Inductive Biases using Deep Kernel Gaussian Processes

2509.24919v1 cs.AI, q-bio.NC 2025-10-01
Авторы:

Bahti Zakirov, Gašper Tkačik

Резюме на русском

#### Контекст Нейробиология становится все более нуждающейся в сформулированных теориях, которые могут объяснить сложные паттерны в данных, организовать данные в значимые модели и предоставить подходы для проверки этих моделей. Некоторые теории, такие как нормативные и задачно-ориентированные, предлагают ценные топоданные объяснения. Однако проблема заключается в том, что существует недостаток систематизированных методов для тестирования этих теорий на реальных данных, что делает их применение необходимым, но затрудненным. Наша работа направлена на решение этой проблемы, предложив метод, который автоматически преобразует теоретические предсказания в модели, позволяющие значимо оценить их в связи с данными. #### Метод Мы предлагаем новый метод, основанный на теории глубоких ядер Гауссовских процессов. Данный подход позволяет адаптировать модель к данным, используя нормативные теории для генерирования синтетических данных, на которых обучается модель. Мы используем нейронные сети с глубокими ядрами для учета сложных зависимостей в данных. Этот глубокий гауссовский процесс становится теория-информированным рамфреймом, который позволяет сопоставить теоретические предсказания с данными, а также построить уверенность в модели. #### Результаты Мы применили нашу модель к экспериментам с экс виво мишей, где мы сравнили прогнозы модели с реальными данными экспериментов. Мы показали, что модель успешно предсказывала ответы сети ганглионных клеток мышей при визуальной стимуляции естественных сцен, превосходя стандартные модели, основанные только на данных. Наша модель также демонстрирует высокую точность прогнозирования и точные оценки неопределенности, что позволяет лучше понимать результаты. Кроме того, мы проверили модель на способность точно оценить то, насколько хорошо теория соответствует данным, и показали её эффективность. #### Значимость Наш подход может быть применен в различных областях, включая нейропсихологию и нейропрограммирование. Он предлагает новый способ интеграции теоретической знания с данными. Это позволяет лучше понять ключевые характеристики системы, улучшить прогнозирование и позволяет оценивать качество моделей в рамках нормативных теорий. Этот подход может позволить ускорять исследования в нейробиологии, предоставляя возможность использовать более широкий круг теоретических моделей в задачах данных. #### Выводы Мы представили новую модель, которая автоматически преобразует теоретические знания в модели, позволяющие лучше прогнозировать данные и проверить теоретич

Abstract

Normative and task-driven theories offer powerful top-down explanations for biological systems, yet the goals of quantitatively arbitrating between competing theories, and utilizing them as inductive biases to improve data-driven fits of real biological datasets are prohibitively laborious, and often impossible. To this end, we introduce a Bayesian meta-learning framework designed to automatically convert raw functional predictions from normative theories into tractable probabilistic models. We employ adaptive deep kernel Gaussian processes, meta-learning a kernel on synthetic data generated from a normative theory. This Theory-Informed Kernel specifies a probabilistic model representing the theory predictions -- usable for both fitting data and rigorously validating the theory. As a demonstration, we apply our framework to the early visual system, using efficient coding as our normative theory. We show improved response prediction accuracy in ex vivo recordings of mouse retinal ganglion cells stimulated by natural scenes compared to conventional data-driven baselines, while providing well-calibrated uncertainty estimates and interpretable representations. Using exact Bayesian model selection, we also show that our informed kernel can accurately infer the degree of theory-match from data, confirming faithful encapsulation of theory structure. This work provides a more general, scalable, and automated approach for integrating theoretical knowledge into data-driven scientific inquiry in neuroscience and beyond.

Ссылки и действия

Связанные статьи

The Principles of Human-like Conscious Machine

## Контекст Область исследования по концепции сознательных машин затрагивает ключевые вопросы о сознании, антропоцентрич...

2025-09-24