Out of Distribution Detection for Efficient Continual Learning in Quality Prediction for Arc Welding

2508.16832v1 cs.LG, cs.AI, I.2.6; I.5.1 2025-08-27
Авторы:

Yannik Hahn, Jan Voets, Antonin Koenigsfeld, Hasan Tercan, Tobias Meisen

Резюме на русском

## Контекст Modern manufacturing основывается на сложных процессах специализированной обработки металлов, включая gas metal arc welding (GMAW). Однако, несмотря на развитие машинного обучения, подходы к качественному прогнозированию в динамичных производственных условиях сталкиваются с основной проблемой — изменением распределения данных (out-of-distribution, OOD). Эти изменения могут привести к неточностям и нестабильности в процессе прогнозирования качества. Наша исследовательская группа адресовала эту проблему, предложив фреймворк, который не только обеспечивает точность в прогнозировании качества, но и эффективно обнаруживает изменения распределения данных, чтобы модель могла адаптироваться к новым условиям. ## Метод Мы расширяем архитектуру VQ-VAE Transformer, которая ранее показала выдающиеся результаты в задачах прогнозирования качества в процессе GMAW. Новая модель включает авторегрессивную функцию потерь, которая используется для OOD-обнаружения. Мы также внедрили стратегии continual learning, чтобы модель адаптировалась к новым данным без постоянного переучивания. Это достигается за счет максимально эффективного использования доступных данных и снижения необходимости частых обновлений модели. Для лучшего понимания и оценки результатов, мы привлекли объективный метрический подход, который комбинирует OOD-обнаружение и производительность в рамках распределения. ## Результаты Мы проверили наш фреймворк на реальных задачах прогнозирования качества в GMAW. Модель показала высокую точность в прогнозировании качества и эффективность в обнаружении изменений распределения данных. Эксперименты показали, что наш подход превосходит другие методы, такие как reconstruction-based и error-based, в обнаружении OOD. Мы также исследовали ситуации, в которых модель адаптировалась к новым данным без потери качества в оценке внутри распределения. ## Значимость Наша работа демонстрирует значимый потенциал применения OOD-обнаружения в производственных условиях. Обнаруживая изменения распределения данных, мы способствуем эффективной адаптации моделей, чтобы они оставались точными и надежными в процессах сильных изменений. Это важно для производственных систем, где качество продукции требует непрерывного мониторинга. Наш подход сочетает точность, эффективность и объяснимость, что делает его привлекательным для индустрии. ## Выводы Мы предложили новый подход к качественному прогнозированию в процессе GMAW, который эффективно обнаруживает изменения распределения данных и позволяет модели адаптироваться к изменениям в условиях производства. Наши результаты показали, что этот подход не только обеспечивает лучшую производительность, но и создает новые возможности для продолжительного

Abstract

Modern manufacturing relies heavily on fusion welding processes, including gas metal arc welding (GMAW). Despite significant advances in machine learning-based quality prediction, current models exhibit critical limitations when confronted with the inherent distribution shifts that occur in dynamic manufacturing environments. In this work, we extend the VQ-VAE Transformer architecture - previously demonstrating state-of-the-art performance in weld quality prediction - by leveraging its autoregressive loss as a reliable out-of-distribution (OOD) detection mechanism. Our approach exhibits superior performance compared to conventional reconstruction methods, embedding error-based techniques, and other established baselines. By integrating OOD detection with continual learning strategies, we optimize model adaptation, triggering updates only when necessary and thereby minimizing costly labeling requirements. We introduce a novel quantitative metric that simultaneously evaluates OOD detection capability while interpreting in-distribution performance. Experimental validation in real-world welding scenarios demonstrates that our framework effectively maintains robust quality prediction capabilities across significant distribution shifts, addressing critical challenges in dynamic manufacturing environments where process parameters frequently change. This research makes a substantial contribution to applied artificial intelligence by providing an explainable and at the same time adaptive solution for quality assurance in dynamic manufacturing processes - a crucial step towards robust, practical AI systems in the industrial environment.

Ссылки и действия