Out of Distribution Detection for Efficient Continual Learning in Quality Prediction for Arc Welding
2508.16832v1
cs.LG, cs.AI, I.2.6; I.5.1
2025-08-27
Авторы:
Yannik Hahn, Jan Voets, Antonin Koenigsfeld, Hasan Tercan, Tobias Meisen
Резюме на русском
## Контекст
Modern manufacturing основывается на сложных процессах специализированной обработки металлов, включая gas metal arc welding (GMAW). Однако, несмотря на развитие машинного обучения, подходы к качественному прогнозированию в динамичных производственных условиях сталкиваются с основной проблемой — изменением распределения данных (out-of-distribution, OOD). Эти изменения могут привести к неточностям и нестабильности в процессе прогнозирования качества. Наша исследовательская группа адресовала эту проблему, предложив фреймворк, который не только обеспечивает точность в прогнозировании качества, но и эффективно обнаруживает изменения распределения данных, чтобы модель могла адаптироваться к новым условиям.
## Метод
Мы расширяем архитектуру VQ-VAE Transformer, которая ранее показала выдающиеся результаты в задачах прогнозирования качества в процессе GMAW. Новая модель включает авторегрессивную функцию потерь, которая используется для OOD-обнаружения. Мы также внедрили стратегии continual learning, чтобы модель адаптировалась к новым данным без постоянного переучивания. Это достигается за счет максимально эффективного использования доступных данных и снижения необходимости частых обновлений модели. Для лучшего понимания и оценки результатов, мы привлекли объективный метрический подход, который комбинирует OOD-обнаружение и производительность в рамках распределения.
## Результаты
Мы проверили наш фреймворк на реальных задачах прогнозирования качества в GMAW. Модель показала высокую точность в прогнозировании качества и эффективность в обнаружении изменений распределения данных. Эксперименты показали, что наш подход превосходит другие методы, такие как reconstruction-based и error-based, в обнаружении OOD. Мы также исследовали ситуации, в которых модель адаптировалась к новым данным без потери качества в оценке внутри распределения.
## Значимость
Наша работа демонстрирует значимый потенциал применения OOD-обнаружения в производственных условиях. Обнаруживая изменения распределения данных, мы способствуем эффективной адаптации моделей, чтобы они оставались точными и надежными в процессах сильных изменений. Это важно для производственных систем, где качество продукции требует непрерывного мониторинга. Наш подход сочетает точность, эффективность и объяснимость, что делает его привлекательным для индустрии.
## Выводы
Мы предложили новый подход к качественному прогнозированию в процессе GMAW, который эффективно обнаруживает изменения распределения данных и позволяет модели адаптироваться к изменениям в условиях производства. Наши результаты показали, что этот подход не только обеспечивает лучшую производительность, но и создает новые возможности для продолжительного
Abstract
Modern manufacturing relies heavily on fusion welding processes, including
gas metal arc welding (GMAW). Despite significant advances in machine
learning-based quality prediction, current models exhibit critical limitations
when confronted with the inherent distribution shifts that occur in dynamic
manufacturing environments. In this work, we extend the VQ-VAE Transformer
architecture - previously demonstrating state-of-the-art performance in weld
quality prediction - by leveraging its autoregressive loss as a reliable
out-of-distribution (OOD) detection mechanism. Our approach exhibits superior
performance compared to conventional reconstruction methods, embedding
error-based techniques, and other established baselines. By integrating OOD
detection with continual learning strategies, we optimize model adaptation,
triggering updates only when necessary and thereby minimizing costly labeling
requirements. We introduce a novel quantitative metric that simultaneously
evaluates OOD detection capability while interpreting in-distribution
performance. Experimental validation in real-world welding scenarios
demonstrates that our framework effectively maintains robust quality prediction
capabilities across significant distribution shifts, addressing critical
challenges in dynamic manufacturing environments where process parameters
frequently change. This research makes a substantial contribution to applied
artificial intelligence by providing an explainable and at the same time
adaptive solution for quality assurance in dynamic manufacturing processes - a
crucial step towards robust, practical AI systems in the industrial
environment.