Linking heterogeneous microstructure informatics with expert characterization knowledge through customized and hybrid vision-language representations for industrial qualification

## Контекст Развитие производства передовых материалов, особенно тех, которые получаются методами неординарной непрерывной производственной технологии, стало ключевым мотивом исследований. Несмотря на прогресс в методах синтеза и характеризации, квалификация таких материалов остается насущной проблемой. Эта сложность обусловлена характером мелкозернистой или хаотичной микроструктуры, которая не всегда может быть полностью охарактеризована достаточно точными инструментами или подходами. Такие недостатки не только замедляют процессы, но и снижают доверие к результатам квалификации. Авторы предлагают новый подход, который объединяет микроструктурные данные с экспертным знанием, используя гибридные представления смысла, обученные на визуальных и текстовых данных. ## Метод Предложенный подход включает в себя современные методы по разделению изображений с помощью семантического сегментационного аппарата. Чтобы улучшить точность, авторы используют предварительно обученные модели CLIP и FLAVA, которые объединяют в себе возможности обработки языка и визуальных сигналов. Для лучшего адаптирования к специфике материалов, авторы разработали подход, основанный на сходстве, который использует как положительные, так и негативные примеры данных, адаптированные к конкретным задачам. Особенностью этого метода является возможность нулевого-семплирования даже для предметов, которые не были видны ранее. Также выполнена нормализация с помощью Z-оценок, чтобы улучшить точность и целостность результатов. ## Результаты На проведенных экспериментах по данным металлических композитов, полученных непрерывной производственной технологией, показана высокая точность разделения нормальных и дефектных образцов. Использование гибридного подхода с различными моделями позволило выделить принципиальные отличия в поведении микроструктурных данных. Модель FLAVA показала высокую чувствительность к обнаружению гранулярных изменений, в то время как CLIP модель стабильно соотносила визуальные данные с текстовыми критериями. Это подтверждает эффективность гибридного подхода, который обеспечивает интерактивность и осмысленность в процессах квалификации. ## Значимость Предложенный подход может быть применен в различных областях, где необходимо выявлять скрытые дефекты или классифицировать материалы в реальном времени. Особенно полезен для задач промышленной квалификации, где требуется быстрота и точность. Улучшение трассируемости и интерпретируемости процессов квалификации позволяет инженерам быстрее реагировать на