Incorporating Visual Cortical Lateral Connection Properties into CNN: Recurrent Activation and Excitatory-Inhibitory Separation

## Контекст Современные Сверточные Нейронные Сети (СНС), такие как ResNet, опираются на принципы функционирования визуальной системы млекопитающих. Они эмулируют афферентные связи (от ретины и LGN к визуальному кортексу) и долгорадийные проекции (между различными визуальными кортикальными областями). Однако, в биологической системе, существуют внутрикортикальные связи, называемые латеральными (или горизонтальными), которые имитируют связи внутри feature maps CNN. Эти связи значительно влияют на обработку визуальной информации в мозгу и их отсутствие в традиционных CNN-моделях ограничивает их биологическую аналогичность и эффективность. Мы исследуем, как моделировать эти связи в рамках стандартных CNN, обосновывая их потенциальное влияние на моделирование визуального распознавания. ## Метод Мы предлагаем модификацию стандартной CNN-архитектуры, включающую внутрислоевые латеральные связи. Используя весовую связность для рекуррентных активаций, мы эмулируем латеральные связи, аналогичные биологической системе. Для того чтобы отделить эксцитаторные и ингибиторные связи, мы предлагаем настраиваемую функцию потерь. Эти модификации позволяют создать модель, поддерживающую биологические принципы визуальной обработки. Мы проверили эффективность нашего подхода на задаче классификации изображений, анализировав качество распознавания и биологичность моделирования. ## Результаты Мы провели эксперименты с использованием объемных данных классификации (например, CIFAR-10 или ImageNet). Наша модифицированная CNN-модель показала улучшенную точность классификации по сравнению с оригинальными моделями без латеральных связей. Мы также проанализировали свойства активаций и типы связей внутри модели. Было показано, что рекуррентные активации и отделение эксцитаторных и ингибиторных связей приводят к более биологичному распределению весов и повышенной стабильности модели. ## Значимость Наш подход может быть применен во всех областях, где используются CNN, включая распознавание изображений, обработку сигналов и медицинский анализ изображений. Он позволяет не только повысить точность распознавания, но и сделать модели более биологично соответствующими, что может способствовать лучшему пониманию принципов визуальной обработки в мозге. Этот подход может стать важной основой для создания более эффективных и биологично природных моделей машинного обучения. ## Выводы Мы успешно доказали, что добавление латеральных связей в CNN модели приводит к улучшению их качества и биологично