Understanding Dementia Speech Alignment with Diffusion-Based Image Generation

#### Контекст Текст-изображение модели способны генерировать высококачественные изображения на основе естественного языка, используя пользовательские описания. Однако мало изучалось, возможно ли такое же соответствие в случае дисторсийных языковых структур, таких как речь при деменции. Данная работа фокусируется на изучении этого аспекта, а также на разработке методов для объяснения этих соответствий. Несмотря на проблемы стабильности текст-изображение моделей, они показались полезными в области здравоохранения, особенно при помощи машинного обучения. Более того, данные о специфической речи не всегда доступны в масштабах, которые требуются для традиционных методов обучения. В подобных ситуациях текст-изображение модели становятся важной альтернативой. Мы исследуем возможность алгоритмов распознавания деменции на основе генерируемых изображений. #### Метод Мы использовали модель Stable Diffusion для генерации изображений на основе текстов, описывающих речь людей с деменцией. В качестве основной выборки использовались данные ADReSS (Alzheimer’s Disease ReTrieval System). Модель была обучена на связке текста и изображений, позволяя изучить совпадение между речевыми особенностями и генерируемыми изображениями. Для объяснения этого соответствия применялись методы экспериментального анализа, такие как saliency maps и feature attribution. Эксперименты проверяли возможность распознавания деменции на основе генерируемых образов и разбирались в вопросе того, какие части текста способствуют этой распознаваемости. #### Результаты Изучение показало возможность распознавания деменции с аккуратностью 75% на выборке ADReSS, используя только генерируемые изображения. Экспериментальный анализ показал, что определенные части языка, такие как слова, описывающие ментальные нарушения, являются ключевыми факторами для распознавания. Эксперименты также подтвердили, что модели не только могут выделить ключевую информацию о деменции, но и сохраняются в рамках логического алгоритма генерации изображений. #### Значимость Результаты этой работы могут применяться в области диагностики деменции и поддержки пациентов, используя текст-изображение модели. Они демонстрируют возможность использования нейронных сетей для распознавания патологической речи без требования больших объемов руководства. Это может стать важной альтернативой для традиционных методов диагностики, которые требуют больших ресурсов и времени. Будущие исследования могут расширить данные модели на другие синдромы деменции и исследовать возможность их использования для других типов патологической речи. #### Вывод