SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning

## Контекст Понимание того, как визуальные стимулы преобразуются в кровеносные ответы в мозгу, является важной проблемой в компьютерных науках и нейронауке. Этот процесс характеризуется биологической вариабельностью: одинаковые визуальные стимулы вызывают разные ответы в мозгу, зависящие от контекста, субъекта и ситуации. Традиционные методы, ориентированные на детерминированное моделирование, сталкиваются с трудностями, связанными с этим неопределенностью. Это снижает точность и предсказуемость моделей, ограничивая их применение в нейронаучных исследованиях. Моделирование этой нерегулярности в сочетании с функциональной согласованностью необходимо для более точного понимания нейробиологических механизмов. ## Метод Мы предлагаем SynBrain — новую программную структуру, основанную на принципах проблемы задачи обучения с учителем и генеративной моделирования. Основная идея заключается в том, чтобы представить нейронные ответы в виде продольных вероятностных распределений, что позволяет сохранить функциональную согласованность и представлять биологические вариации. Главные компоненты SynBrain: (i) **BrainVAE** — модель, представляющая нейронные ответы с помощью вероятностных профилей, что обеспечивает продольную вариативность. (ii) **Semantic-to-Neural Mapper** — слой, проецирующий визуальные семантические признаки на нейронный манифолд, что обеспечивает высокую точность воспроизведения ответов в fMRI. Эта архитектура объединяет в себе мощь продольного моделирования и интерпретируемость биологических процессов. ## Результаты Мы провели подробные эксперименты на обширных данных, включая fMRI сигналы и визуальные стимулы. Модель SynBrain показала превосходство над другими подходами в задачах визуально-ниронного отображения. Оценки были проведены по метрикам качества, таким как PSNR, SSIM и correlation coefficient. Модель отлично справляется с неопределенностью в данных и позволяет эффективно адаптироваться к новым субъектам с небольшим количеством данных. Мы также проанализировали возможность SynBrain для улучшения обратных задач, таких как fMRI-to-image decoding. Наши результаты подтверждают, что модель SynBrain не только точно воспроизводит ответы, но и выделяет биологически значимые шаблоны. ## Значимость Перспективы SynBrain касаются широкого спектра применений в нейронауке и разработке интеллектуальных систем. Модель может быть использована для создания более точных моделей нейронной деятельности, улучшения диагностики и терапии неврологических заболеваний. Благодаря способности SynBrain адаптироваться к новым субъектам с минимальным объемом данных, она оказывается важной для решения про