Virtual Multiplex Staining for Histological Images using a Marker-wise Conditioned Diffusion Model

#### Контекст Многомерное (мультиплексное) изображение в патологии позволяет одновременно визуализировать несколько биомаркеров в тканевых образцах, обеспечивая мелкий уровень детализации, который недоступен при использовании традиционного остеоксиалиново-и-эозинового (H&E) окрашивания. Однако сложности и высокая стоимость получения мультиплексных данных ограничивают широкое распространение этой технологии. Более того, большинство больших репозиториев изображений H&E не содержат соответствующих мультиплексных данных, что существенно ограничивает возможности мультимодального анализа. Наша мотивация заключается в развитии эффективной методики для генерирования мультиплексных изображений из H&E-изображений, чтобы расширить возможности мультимодальных исследований. #### Метод Мы предлагаем развитие фреймворка для виртуального мультиплексного окрашивания на основе новых достижений в области моделей диффузии (LDM, Latent Diffusion Models). Модель диффузии признана мощным инструментом для моделирования сложных распределений данных, и мы ее используем для гибкого применения к задаче виртуального мультиплексного окрашивания. Наша модель имеет универсальную архитектуру, которая адаптируется для каждого биомаркера с помощью условного обучения (marker-wise conditioning). Для улучшения качества генерируемых изображений и эффективности работы, мы внедрили предварительную подготовку модели к работе с одним биомаркером за раз (single-step sampling). Это позволяет оптимизировать цветовую интенсивность и уменьшить время вычислений. #### Результаты Мы проверили нашу модель на двух открытых данных, показав ее эффективность в генерации изображений с до 18 маркеров. Это превышает результаты предыдущих исследований, которые ограничивались 2–3 маркерами. Мы использовали функции потерь на уровне пикселей для точного подбора цветов и сохранения фидбека пользователя. Эксперименты показали, что наша модель не только увеличивает точность окрашивания, но и предоставляет более тонкий контроль над процессом. Таким образом, наш фреймворк достигает новых высот в мультиплексном изображении, улучшая эффективность и доступность таких исследований. #### Значимость Наша разработка может применяться в различных областях медицины и биологии, в том числе для диагностики, раннего выявления заболеваний и развития новых терапий. Она обеспечивает мощный инструмент для переоценки существующих данных H&E, позволяя проводить мультимодальные исследования без необходимости повторного проведения экспериментов. В свою очередь, это может существенно ускорить научные исследований и снизить их