Bio-Inspired Artificial Neural Networks based on Predictive Coding

## Контекст Современная нейросистемная инженерия стремится создавать модели, которые были бы эффективными, универсальными и приближенными к природе. Одна из самых значимых проблем в этой области — создание алгоритмов обучения, которые были бы ближе к биологическим процессам. Алгоритм **Backpropagation (BP)**, широко используемый для обучения нейронных сетей, требует глобальных сигналов ошибки для обновления весов. Однако это явление сильно отклоняется от биологических моделей, где обновления весов локальны и зависят только от локальных сигналов. Это несоответствие вдохновило исследователей на поиск биологически более предметных альтернатив. Одной из таких альтернатив является **Predictive Coding (PC)**, метод, основанный на теории сигнального кодирования и работе с шумом. PC предлагается как модель не только для сигнальной обработки, но также для моделирования визуального центра в мозгу. Благодаря своей локальности и связи с **Байесовым выводом**, PC получила большое внимание в современной науке. Целью данной работы является подробное описание PC, её математических оснований и приложений в разработке биологически более правдоподобных моделей нейронных сетей. ## Метод Методология **Predictive Coding (PC)** основывается на принципе биологической параметризации. Основная идея заключается в том, что нейроны не только реагируют на сенсорные сигналы, но и предсказывают входящие сигналы на основе предыдущих информационных моделей. Локальные ошибки — разница между предсказанием и фактическим входом — используются для адаптации весов. Веса в сети обновляются таким образом, чтобы смягчить разницу между предсказаниями и фактическими значениями. Основная архитектура PC включает в себя две основные части: **encoder** и **decoder**. Encoder предсказывает входные данные на основе текущих весов, в то время как decoder сравнивает предсказания с фактическими значениями. Изменения весов происходят только в зависимости от разницы между этими двумя субъектами. Этот подход теоретически эффективен, так как он уменьшает необходимость в глобальных сигналах. ## Результаты **Эксперименты** проводятся на ряде синтетических и реальных данных. Модели PC были применены к обработке сигналов, визуальному распознаванию и динамическому моделированию. Эксперименты показали, что PC может эффективно обучаться в ситуациях, где BP столкнулся с проблемами, такими как высокая степень зависимости от глобальных сигналов. Была проверена гипотеза о том, что PC не только эффективна, но и более устойчива к шумам. Были проведены сравнения с BP и другими алгоритмами, показавшими, что PC может изб