A Multi-Camera Vision-Based Approach for Fine-Grained Assembly Quality Control
2509.23815v1
cs.CV, cs.AI, cs.LG, 68T45, I.4.8; I.4.1; I.2.10
2025-10-01
Авторы:
Ali Nazeri, Shashank Mishra, Achim Wagner, Martin Ruskowski, Didier Stricker, Jason Rambach
Резюме на русском
## Контекст
Качественное управление в производстве является ключевым фактором для обеспечения достоверности и безопасности производственных процессов. Особенно важное место занимает контроль качества при сборке мелких компонентов, таких как болты или шайбы. Традиционные методы качественного контроля часто ограничиваются однопроходным изображением или ручным осмотром, что приводит к ошибкам из-за оккультаций, ограниченных углов обзора и неустойчивости освещения. Эти проблемы часто требуют дополнительных станций инспекции, что может привести к снижению производительности линии сборки и увеличению затрат. Данная работа представляет собой новую модель многовидового модуля для качественного контроля, который использует систему многокамерного зрения и новейшие алгоритмы обнаружения объектов. Она предназначена для улучшения достоверности и эффективности контроля в производственных цехах.
## Метод
Многовидовый модуль качественного контроля основывается на системе из трех камер, которая обеспечивает трехмерное визуальное покрытие объекта. Для обработки данных используется современный подход к объединению изображений с разных точек зрения, чтобы устранить возможные несоответствия и улучшить точность. Алгоритмы обнаружения объектов были адаптированы для работы с мелкими компонентами в производственных условиях. Для обучения модели и тестирования ее точности разработан собственный уникальный датасет, который включает изображения с различных углов, условий освещения и ситуаций с оккультацией. Это позволяет модели лучше адаптироваться к реальным производственным средам.
## Результаты
Эксперименты проводились на собственном датасете, который включал изображения с различных углов и сценариев. Наша модель показала значительное превосходство по сравнению с методами однопроходного зрения в отношении точности и достоверности обнаружения недостаточно скрепленных мелких деталей, таких как болты. Точность и рековери показали значительное улучшение, что демонстрирует эффективность многовидового подхода в решении проблем, связанных с ограниченным полем обзора и неоднородным освещением.
## Значимость
Модуль может быть применен в различных производственных секторах, где необходимо высокоточное и надежное контроль качества сборочных процессов. Он предоставляет достоверность, надежность и масштабируемость, что позволяет уменьшить затраты на дополнительные станции инспекции и увеличить производительность производственных линий. Этот подход может привести к значительным экономическим выгодам и повышению безопасности в производстве.
## Выводы
Работа доказывает, что многовидовый подход к качественному ко
Abstract
Quality control is a critical aspect of manufacturing, particularly in
ensuring the proper assembly of small components in production lines. Existing
solutions often rely on single-view imaging or manual inspection, which are
prone to errors due to occlusions, restricted perspectives, or lighting
inconsistencies. These limitations require the installation of additional
inspection stations, which could disrupt the assembly line and lead to
increased downtime and costs. This paper introduces a novel multi-view quality
control module designed to address these challenges, integrating a multi-camera
imaging system with advanced object detection algorithms. By capturing images
from three camera views, the system provides comprehensive visual coverage of
components of an assembly process. A tailored image fusion methodology combines
results from multiple views, effectively resolving ambiguities and enhancing
detection reliability. To support this system, we developed a unique dataset
comprising annotated images across diverse scenarios, including varied lighting
conditions, occlusions, and angles, to enhance applicability in real-world
manufacturing environments. Experimental results show that our approach
significantly outperforms single-view methods, achieving high precision and
recall rates in the identification of improperly fastened small assembly parts
such as screws. This work contributes to industrial automation by overcoming
single-view limitations, and providing a scalable, cost-effective, and accurate
quality control mechanism that ensures the reliability and safety of the
assembly line. The dataset used in this study is publicly available to
facilitate further research in this domain.