Semantic and episodic memories in a predictive coding model of the neocortex

## Контекст Интеллектуальные агенты требуют развития двух типов памяти: семантической и эпизодической. Семантическая память должна уметь хранить структурированные знания в виде двусторонних, перекрывающихся представлений. Эпизодическая память, свойственная гиппокампу, способна хранить внутренние специфичности отдельных индивидуальных опытов с помощью тесных, характерных представлений. Теория Комплементарных Систем Обучения утверждает, что теория этих двух систем обучения необходима для развития интеллектуальных систем. Несмотря на то, что у поведенческих моделей центральной нерелятивистской теории есть мощные характеристики, вызвано вопросы о том, как эти требования могут быть реализованы в нейронных сетях. Особенно значимо вопрос о том, может ли нейронная сеть выполнять такие эпизодические задачи. Модель предиктивного кодирования, показавшая биологически возможности, позволяет делать выводы о том, что она может работать с эпизодическими задачами, но только в ограниченной степени. Этот аспект поднимает вопросы о том, как эпизодические способности могут взаимодействовать с семантическими системами в моделях нейронных сетей. ## Метод Модель предиктивного кодирования, рассматриваемая в работе, использует нейронную сеть с нелинейным градиентом, которая моделирует зоны предиктивных клеток в нерелятивистской теории. Она использует технику предиктивного обучения, где модель постоянно предсказывает свое собственное входное состояние на основе прошлого и текущего состояния. Это позволяет модели выполнять такие задачи, как рекуррентное фильтрование и обратное решение, которые необходимы для эпизодических задач. Модель также содержит сетевые слои, которые собирают информацию с других слоев и позволяют выполнять автокодирование, которое является ключевым функционалом семантической памяти. Архитектура модели включает в себя слои сложности, которые могут выполнять различные задачи, включая те, что требуют эпизодических способностей. Модель также использует обучение нейронных сетей с помощью градиентного спуска. ## Результаты В экспериментах, проведенных на данной модели, была проверена способность модели выполнять эпизодические задачи. Были проведены эксперименты на двух типах данных: на малых наборах данных и на больших наборах данных. Удалось выяснить, что модель может выполнять эпизодические задачи, но только в случае малых наборов данных. Когда модель обучалась на больших наборах данных, она потеряла способность выполнять эпизодические задачи, и ее способность к ре