Disentangling the Factors of Convergence between Brains and Computer Vision Models

## Контекст Современные искусственные нейронные сети (ANN), обученные на естественных изображениях, часто развивают представления, похожие на те, что используются человеческим мозгом для обработки визуальной информации. Однако факторы, влияющие на эту схожесть, остаются под вопрсом. Эта непонимание сильно ограничивает нашу способность разобраться в том, как ANN устроены и каким образом они могут моделировать человеческие законы визуального восприятия. Для разъяснения этой проблемы требуется подробный анализ, включающий в себя изучение влияния различных факторов, таких как размер модели, количество обучения и тип обрабатываемых данных, на возникновение биологически приближенных представлений в моделях. Это позволит получить более глубокое понимание интеллектуальных процессов в живых организмах и ANN. ## Метод Чтобы изучить влияние различных факторов на схожесть представлений ANN и мозга, авторы провели эксперименты с семейством самостоятельно самоучительных визуальных трансформов DINOv3. Эти модели были обучены с помощью самостоятельного самоучителя и систематически отличались по размеру, объему тренировочных данных и типу изображений. Для компаративного анализа представлений изображений, сформированных ANN, и тех, что используются человеческим мозгом, авторы применяли данные fMRI и MEG, обеспечивающие высокую точность в анализе временных и пространственных свойств. Для оценки схожести были использованы три метрики: общая схожесть представлений, организация зон восприятия и динамика временных процессов. ## Результаты Исследования показали, что каждый из трех факторов — размер модели, объем обучения и тип изображений — оказывает влияние на схожесть представлений ANN и мозга, и эти факторы могут работать как независимо, так и взаимодействующими. Особенно выраженное влияние имеют крупные модели DINOv3, обученные на изображениях, близких к типам изображений, с которыми связано человеческое восприятие. Эти модели достигают наивысшей схожести с представлениями мозга. Более того, схожесть развивается по определенной схеме во время обучения: модели вначале приближаются к представлениям нижних сенсорных корут, а затем, при достаточно долгом обучении, к головным представлениям. Эта схема последовательности схожести во время обучения сильно связана с организацией человеческого мозга. ## Значимость Результаты этих исследований имеют широкое применение в области нейробиологии и глубокого обучения. Они демонстрируют, как различные факторы влияют на схожесть представлений между ANN и мозгом, и позволяют лучше понять, каким образо