SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning

## Контекст Установление точного подхода к моделированию взаимосвязи между визуальными стимулами и нейронными ответами, характерных для зрительного потока, является ключевым вопросом в области компьютерной нейронауки. Особенностью этого процесса является то, что одинаковые визуальные стимулы способствуют разным нейронным ответам в зависимости от контекста, субъекта и условий испытаний. Традиционные задачи синтеза сигналов fMRI часто стремятся описать это с помощью детерминированных функций, но их не могут полностью корректно охватить неоднородность и вариативность поведения биологических систем. На данный момент в этой области необходима более точная модель, которая могла бы синтезировать fMRI-сигналы с учетом вариативности, характерной для биологических систем. ## Метод Мы предлагаем SynBrain, новое генерирующее фреймворковое решение, которое адресует эти проблемы с помощью прогнозируемых методов, основанных на принципах вероятностного и биологически интерпретируемого подхода. Основные компоненты SynBrain: (i) BrainVAE - модель, которая представляет нейронные ответы в виде непрерывных вероятностных распределений, сохраняя функциональную консистентность с помощью ограничений, накладываемых визуальными семантическими конструктами; (ii) Semantic-to-Neural Mapper - целевая система, преобразующая визуальные семантические сигналы в нейронные ответы с помощью семантических проекций. Весь механизм работает на базе глубоких нейронных сетей и целей, которые имитируют биологические процессы. ## Результаты Мы провели эксперименты, которые использовали определенные данные, в том числе аудио- и видеоконтент, а также сигналы fMRI. Метод SynBrain демонстрирует повышенную точность в синтезе fMRI-сигналов в сравнении с состоянием искусства. Мы также проверили его способность адаптироваться к новым пользователям с минимальным количеством данных. Формированные сигналы были эффективны в улучшении декодирования fMRI-to-image, что демонстрирует способность SynBrain к вариативному описанию нервных ответов. Эти результаты свидетельствуют о том, что SynBrain может имитировать биологическую неоднородность и сохранять функциональную консистентность. ## Значимость Области применения SynBrain включают в себя области компьютерных наук, социальных наук и медицины. Этот подход может быть использован для моделирования нейронных раскладок в разных условиях, в том числе при выявлении заболеваний, связанных с биологическим недостатком. Особенно важно, что SynBrain может применяться для преобразования сигналов fMRI в изображения, что может повысить эффективность обработки данных в с