摘要

在当今工业中,测量工件尺寸已成为一项重要的技术手段,它不仅可以帮助我们准确地评估工件的质量,还能够确保其合格。传统的人工测量尺寸方法存在诸多缺陷,如误差大、精度不高、耗时过长以及效率低下,这些都已经不能满足当今自动化技术的发展需求。随着科学技术的进步,机器视觉检测技术在提升效率、提升准确性以及增强智能化方面取得了显著成果,具备巨大的发展潜力。

本文以前后端工件为研究对象,以机器视觉基本原理为基础,从工件尺寸检测的精度入手,对检测系统的通信选择及软件总体方案设计,界面设计,图像处理,相机标定和测量算法进行了详细分析,实现了工件尺寸的精确测量。主要研究内容有:

首先,完成了机器视觉工件尺寸检测系统总体设计及硬件平台的构成选择,还有系统的软件设计,完成了基于MFC的人机交互界面的设计,按照图像采集系统的设计要求选择不同的通信并完成通信。

然后,以图像处理为基本手段,采用Sobel算子进行图像滤波处理和选用Threshold算子进行图像阈值分割处理,并进行了开运算处理,获取到了高质量图像。完成了黑白棋盘法的相机标定,根据像素坐标转换为实际坐标和利用测量及计算公式得到工件尺寸。本文还使用了激光跟踪仪测量工件尺寸结果和机器视觉检测结果进行了对比和分析。

最后,为了实现高精度的机器视觉检测的工件尺寸,提高工业生产线的自动化,拓宽机器视觉的应用,设计使用Visual Studio2017平台基于MFC框架下实现上位机(工控机)与机器人控制器的同步通信系统界面。该系统能够提高检测的精度和效率,适用于工业生产,具有一定的实用价值。

关键词:机器视觉,I/O通信,网口通信,串口通信,相机标定,Sobel算子,Threshold算子,开运算,激光跟踪仪

Abstract

In today's industry, the measurement of workpiece size has become an important technical means, it can not only help us accurately assess the quality of the workpiece, but also can ensure its conformity. The traditional manual measurement method has many defects, such as large error, low precision, too long time and low efficiency, which can not meet the development needs of automation technology. With the progress of science and technology, machine vision detection technology has made remarkable achievements in improving efficiency, improving accuracy and enhancing intelligence, and has great potential for development.

In this paper, the former back-end workpiece as the research object, based on the basic principle of machine vision, starting from the accuracy of the workpiece size detection, the detection system communication selection and software overall scheme design, interface design, image processing, camera calibration and measurement algorithm were analyzed in detail, to achieve the accurate measurement of the workpiece size. The main research contents are as follows:

First of all, complete the overall design of machine vision workpiece size detection system and the composition of the hardware platform selection, as well as the software design of the system, complete the design of the human-computer interaction interface based on MFC, according to the design requirements of the image acquisition system select different communication and complete the communication.

Then, with image processing as the basic means, Sobel operator is used for image filtering processing and Threshold operator is used for image threshold segmentation processing, and open operation processing is carried out to obtain high quality image. The camera calibration with black and white checkerboard method was completed. The pixel coordinates were converted into actual coordinates and the workpiece size was obtained by using measurement and calculation formulas. In this paper, the laser tracker is used to measure the workpiece size and the machine vision test results are compared and analyzed.

Finally, in order to realize the workpiece size of high-precision machine vision detection, improve the automation of industrial production line and broaden the application of machine vision, the Visual Studio2017 platform is designed to realize the synchronous communication system interface between upper computer (industrial computer) and robot controller under the MFC framework. The system can improve the accuracy and efficiency of detection, and is suitable for industrial production, and has certain practical value.

Keywords: Machine vision, I/O communication, Network port communication, Serial port communication, Camera calibration, Sobel operator, Threshold operator, Open operation, Laser tracker

目录

摘要

Abstract

第1章 绪论

1.1研究背景及意义

1.2国内外的研究现状

1.2.1国外研究现状

1.2.2国内研究现状

1.3论文的主要内容

1.4机器视觉检测的经济性和社会性分析

1.5本章小结

第2章 基于机器视觉检测系统分析及总体设计

2.1检测系统的总体设计方案

2.2检测系统的硬件平台的构成

2.2.1光源的选用及设计原理

2.2.2相机的选用及原理

2.3本章小结

第3章 多相机视觉检测软件系统设计

3.1检测软件系统的设计方案

3.2图像采集系统设计与实现

3.2.1图像采集系统的设计

3.2.2实现系统通信

3.3人机交互界面的功能介绍及设计

3.3.1软件的具体功能

3.3.2基于C++的MFC界面设计

3.4本章小结

第4章 基于机器视觉的特征识别及测量算法

4.1相机标定

4.2图像处理

4.2.1Sobel算子图像滤波处理

4.2.2Threshold算子阈值分割处理

4.2.3图像的开运算处理

4.2.4工件边缘线段的获取

4.2.5找到交点并得到坐标

4.3测量及计算方法

4.4本章小结

第5章 系统运行流程及误差分析

5.1系统运行流程

5.1.1测量流程

5.1.2检验结果

5.2检验误差分析

5.3本章小结

第6章 结论与展望

6.1总结

6.2不足与展望

参考文献

致谢

第1章 绪论

1.1研究背景及意义

现在,随着科学技术和人们的生活水平的快速提升,对测量所采用的各种指标也变得越来越有规律,以前所采用的方法已经对人类社会的发展产生了制约,这就要求我们必须对其进行改进,以达到进一步的优化。以往的测量都使用的是游标卡尺,尽管使用起来十分的便利,但它的作用相对单一。而且人的精力是有限的,为了判断做出来的工件是否合格,如果运用人工进行测量,不仅存在误差大,还需要消耗大量的人力,效率还低,最终还会导致最后的产品质量不达标。在计算机辅助下,通过计算机辅助的方法进行三维检测已被广泛地运用于各个领域,并逐步发展为一种新型的检测方法。在机器视觉技术中,最重要的功能就是针对不同类型的机械部件的几何尺寸和尺寸展开检测分析。当前,我国的几所著名大学、研究所等都已经开发出了很多的以机器视觉技术为基础的系统,来实现对机械部件的检测。因为这种非接触的检测方式,让检测的准确度,远超以往的检测方式,这将极大的提升工作效率,同时也将节省大量的成本。

1.2国内外的研究现状

1.2.1国外研究现状

国外机器视觉检测技术研究早在20世纪80年代就开始了,国外机器视觉的应用已渗透到多领域,发达国家在工业上的检测普遍使用的都是机器视觉检测,国外在这个技术方面已经日趋成熟完善,并且也取得了很多重要的成果。Stemberg等人在1983年提出了一个检测手表齿轮是否损坏的检测系统[1],该系统采用背向光源,这样可以清楚的找到齿轮上的缺陷。该系统主要是利用数学形态学的处理方法,首先去除一些影响检测尺寸 的部分,然后使用膨胀法处理齿轮图像,最后找到连续带中的断裂处即可认为齿轮的缺陷。Guangfeng Xiao等[2]提出了一种在线尺寸测量系统,针对纺纱作业中的旋转工件进行直线度和圆度的在线测量,通过对工件图像的ROI(Region of Interest)提取、滤波去噪、边缘提取,实现比3D测量机更高精度的测量,且两者检测相对误差小于10%,直线度和圆度的平均检测时间分别为98.5ms和69.3ms。卡西姆大学的E.S.G adelm awla[3]使用机器视觉检测技术,实现了对正齿轮所有参数的测量,对于直径156mm的齿轮,最大检测误差值为士0.101 mm,对于小直径的齿轮,可以实现更高精度的检测。对于汽车领域,很多著名公司都采用了机器视觉技术,并且研究出了激光柔性测量系统,实现了在线测量汽车的各个零部件,而且此系统同时也应用到了其他很多公司,也取得了很大的发展。如在英国的一家公司,通过机器视觉检测技术实现了对汽车的轮廓进行分析;著名的奥迪公司也对此研究出了全自动的视觉检测系统,该系统的主要功能是快速检测出车身的质量问题,完美的解决了生产时间及生产成本,从而提高汽车自身的质量。故对基于机器视觉多相机检测的研究具有重要意义与价值。

1.2.2国内研究现状

相比于欧美发达国家,国内直至20世纪90年代才发展成立少数视觉产业公司,但早期视觉技术应用范围窄、系统功能单一、发展缓慢[4]。1998年刘曙光等人在发表的论文中首次提出了机器视觉检测方法[5],该方法采用小波变换去除图像中含有的噪声,成功实现了对仪表板的检测。国内从上个世纪末开始对机器视觉技术进行研究,单越康等人使用CCD相机结合计算几何方法,从而实现了通过视觉检测对复杂工件的测量,该测量系统能够检测的最大尺寸为20mm,检测误差基本在±35㎛,检测速度为15件/min[6]。柴玲玉[7]使用HALCON开发环境,设计出一套能够对被测齿轮的左右齿面进行齿距偏差进行亚像素级精度的机器检测系统。河北和技大学的宋超博[8]研究了一套在线大尺寸零件测量系统,针对大尺寸零件建立了线结构光图像采集平台,采用线激光传感器结合工业相机获得零件的参数进而求解零件的三维点云数据,提出三维点云拼接的方法获取零件全尺寸数据,实现大尺寸零件的测量精度平均误差为1mm左右。进入21世纪,我国的机器视觉检测技术得到了飞速发展,机器视觉的应用涉及到各行各业,比如航空遥感、海底测量、工业现场的尺寸检测、农业、医疗等[9]。随着我国现代化工业技术的不断发展,因内对视觉检测技术的需求将越来越大,许多专家和学者为此提出了不同的视觉检测系统。近年来,在“中国制造2025"及“互联网+”的战略背景下,机器视觉技术发展迅速,众多机器视觉企业开始向多行业、多领域、多层次进行机器视觉检测,促进了国内机器视觉行业市场的飞速发展。

1.3论文的主要内容

本课题主要是一个基于机器视觉相机工件尺寸检测系统的设计,该系统能实现对工件尺寸的高精度的测量以及判断是否合格。主要研究内容为:

(1)基于机器视觉的多相机检测系统的界面设计

界面设计是采用Visual Studio 2017基于MFC对话框设计人机交互界面,该界面包含了登录界面和主界面,登录界面主要是为了防止工人随意操控导致出错;主界面主要有“启动”、“暂停”、“回看”、“设置”等按钮,可以实现各个模块的功能,还能把检测结果清晰地显示出来,方便操作者操作。

(2)实现三种通信

相机采用的是网口通信,网口通信是三报文握手建立TCP连接之后,进行数据传输,通过四报文握手关闭TCP连接;光源电源采用的是串接口,串接口是一种外部设备与电脑之间,利用信号线,地线,控制线等,逐个位数传送资料的通信模式,这样的模式占用较小的资料线,在长程通讯中可以节省通讯费用;接近开关是采用的是I\O口通信,接近开关碰到铁板,发出脉冲,接收高电平实现通信,拿开之后恢复低电平从而关闭。

(3)相机标定

相机与人的眼睛不同,可以直接看到什么就抓取什么,相机采集到的影像是以一个单一的象素作为单位的,并且由于受到周边环境的影响,会有一些变形,要想得到平坦的影像,就必须把影像中以象素表示的物体大小转化成以毫米表示的实体空间的大小,需要对相机进行标定,本文采用的是棋盘标定法。

  1. 图像处理

图像处理是指在进行测量及计算之前,对采集到的图像进行一系列处理步骤,以图像增强、减小噪声、边缘检测和特征点提取等,从而为后续图像处理提供更高质量的输入。本文采用了Sobel算子进行图像滤波处理和选用Threshold算子进行图像阈值分割处理,并进行了开运算处理,对图像进行腐蚀膨胀处理,并进行线段整合获取得到边缘线段,

  1. 工件尺寸测量及计算

在机器视觉检测中完成图像处理完成后,将像素坐标转换成实际坐标,最后得到三维坐标,然后根据相应的公式得到工件的长、宽和对角线的长度。

  1. 测量结果的误差分析

本文还使用了激光跟踪仪测量工件尺寸和机器视觉测量工件尺寸结果进行了对比和分析,最终概括出影响测量结果误差的因素。

1.4本章小结

本章主要介绍了基于机器视觉的多相机视觉检测系统的设计与实现在检测工件尺寸的研究依据、研究背景及意义,对当前国内外机器视觉的研究现状进行了分析,并对本文的主要内容进行了详细的说明。

第2章 基于机器视觉检测系统分析及总体设计

2.1检测系统的总体设计方案

基于机器视觉多相机检测系统设计的目的是:通过相机在合适的光源下获取工件图像,然后进行图像预处理和测量计算,快速得到工件的尺寸,将检测结果存储并显示出来,通过比较来判定工件的质量。本文主要是确定通过识别四端角件的安装孔,根据孔的中心位置计算前后端的宽(W)、高(H)以及两对角线的长度(S1和S2),如图2.1所示。

图2.1 前端需要测量的参数

在现代工业化生产中,产品的检测效率和是否合格影响到企业的运营,而视觉检测技术能够使工件检测效率大幅度提高。视觉检测是一种综合运用了多种学科的非接触式测量技术[9]。本文中的机器视觉检测系统总体设计结构图如图2.2所示。

图2.2 机器视觉检测系统总设计结构图

机器视觉检测工件的过程如下:在平台下放置待检测的工件,实现接触开关、灯光和相机的通信,完成相机标定,相机将在适合的光源下获取到的工件图像传入工控机,经过算法测量计算后得到工件尺寸并通过人机交互界面显示本论文所设计的检测系统分为两个部分:一是硬件,二是软件。硬件部分由工业摄像机,光源,接近传感器,工业显示屏,工业控制计算机组成和相关接口电气等,硬件部分的目的标定后的相机可以在合适的光源背景下获取到较高质量的工件图像。软件系统主要是设计人机交互界面,在计算机上完成,通过一系列算法对图像预处理及测量计算等,主要作用是计算测量出工件尺寸,最终判断该工件是否合格。

2.2检测系统的硬件平台的构成

工件尺寸检测系统的硬件部分包括6块平面漫反射光源、6台工业相机、3个接近传感器、1台工控机、1个工业显示屏及相关接口电气等。总体布局和实物如图2.3所示。其中工业相机和平面漫反射光源安装于支撑架正对于角件上方,工控机和光源控制器等固定在控制柜内部。控制柜提供一键启停系统的操作按钮,显示屏提供目前系统的运行状态、图像采集和处理结果等信息。接近传感器判断前端到位及其类型。系统的核心零部件型号如表2.1所示。

图2.3 工件检测系统总体布局

表2.1 前后端检测系统零部件型号

2.2.1光源的选用及设计原理

选用合适的光源对基于机器视觉检测的多相机检测系统设计与实现具有重要意义。合适的光源能够提供稳定的光照条件,保证图像采集的一致性和准确性。它能实现均匀的光照分布,确保不同相机采集的图像具有相似的光照强度和分布特性。此外,合适的光源能够提供一致的色温输出,保证多个相机采集到的图像具有统一的色彩表现。光源的可调节性和控制性使其能够根据具体需求进行亮度和颜色的调节,并实现远程控制,提高系统的灵活性和便利性。因此,光源选型在多相机检测系统中扮演着关键角色,对于提高图像采集质量和系统可靠性至关重要。

本文的光源采用的是由LED灯组成有均匀光发射特性的发光面板如图2.3所示,作为核心部件平面漫反射光源。平面漫反射光源的设计基于漫反射原理,通过将光源均匀地反射到周围环境中,使得光在各个方向上具有相似的强度和分布特性。这种均匀的光照条件有助于消除阴影、减少反射和折射等影响因素,提高图像检测的准确性。平面漫反射光源可以提供均匀的光照条件,使得各个相机采集到的图像具有相似的光照强度和分布特性,这种均匀性有助于消除阴影、减少反射和折射等影响因素,提高图像检测的准确性,消除光照不均匀造成的误差。

图2.3 LED灯发光面板

2.2.2相机的选用及原理

相机的选型在基于机器视觉检测的多相机检测系统中具有重要的意义。正确选型的相机能够满足检测需求,提高检测精度,实现高速检测,并具备系统兼容性、稳定性和可靠性。选择合适的相机要考虑分辨率、帧率、动态范围、接口和光学系统等因素。高分辨率和高质量的相机可以捕捉和分析目标物体的细微特征,减少误判和漏检。快速帧率可以对快速运动物体进行准确检测。与系统平台和其他硬件设备兼容的相机接口和数据传输方式具备系统扩展性。选择具有高稳定性和可靠性的相机能够适应恶劣工业环境的长时间运行。在选型过程中,还需考虑成本效益,选择性能适中、价格合理的相机。

本文中相机选用了工业相机如图2.4所示,工业相机采用了与普通相机不同的图像传感器和图像处理电路,以满足工业自动化领域对高速、高精度图像采集的需求。它通过光学系统将被检测物体的图像传输到图像传感器上,并通过图像处理电路进行数字信号转换和处理,最终输出高质量的图像数据。工业相机的高速采集能力和高性能图像处理芯片使其能够实现快速的图像采集和处理,满足高速生产线上的快速检测需求。其高精度的图像质量能够提供清晰、细节丰富的图像数据,为精确的图像分析和检测提供可靠基础。工业相机还具备强大的光线适应能力,能够适应复杂工业环境下的不同光照条件,获取可靠的图像数据。其支持外部触发功能,实现与其他设备的同步工作,确保多相机系统的同步采集和精确控制。工业相机在多相机检测系统中能够实现高质量图像采集,多相机同步工作,提供稳定性和可靠性,以及灵活性和可扩展性。

图2.4 工业相机图片

2.3本章小结

本章详细介绍了基于机器视觉检测的多相机检测系统的设计和硬件平台组成。主要详细介绍了系统整体的设计构图和检测工件流程,和硬件平台构成的光源和相机的选用及原理。通过合理的系统设计和选用适当的硬件平台,该系统能够实现高效、准确的图像采集、处理和分析,为后续的决策和控制提供可靠的数据基础。

第3章 多相机视觉检测软件系统设计

3.1检测软件系统的设计方案

基于机器视觉多相机检测系统设计的目的是:通过相机及光源获取工件图像,然后进行数据分析,图像处理以及测量计算,快速得到工件的尺寸,最后将检测结果进行保存及显示,从而判断该工件是否合格。在机器视觉检测多相机检测系统设计与实现中,系统软件设计流程图可以分为数据采集与预处理、检测与识别、输出与保存三个主要步骤,如图3.1所示。

图3.1 系统软件设计流程图

数据采集与预处理,此步骤包含多相机的数据采集与校准,同时对数据进行预处理,以从原始数据中提取关键信息。检测与识别,此步骤主要负责对处理后的图像进行检测与识别操作。具体操作包括特征提取、目标检测、人脸识别等,根据需求进行相应的算法选择和调整。输出与保存,此步骤主要负责将检测与识别的结果进行输出与保存操作,并将结果输出到可视化界面上进行展示,还有通过日志形式保存结果供后续进一步分析和处理。

视觉检测是一种综合运用了多种学科的非接触式测量技术[1],本文中的视觉检测系统主要包括七个模块,如图3.2所示。

图3.2 软件模块划分

其中状态更新及调度模块通过状态机的方式实现对系统运行状态的控制,是该软件系统的后台内核模块;端口监听及处理模块实现定周期的检测通用I/O信号,通过状态机对信号进行分析,判断到位信息和类型信息,同时提供网络端口监听,实现与上位机(管理系统)的通信;光源及相机控制模块通过串口通信对光源亮度进行调控,触发相机完成图像采集;图像处理与计算模块通过数字图像处理技术实现图像预处理、轮廓匹配和定位、测量计算等;数据读取和保存模块实现对配置参数的读取和保存、对采集图像及测量结果的保存和读取;数据分析及可视化提供对历史数据的读入、分析和图形化显示。

3.2图像采集系统设计与实现

3.2.1图像采集系统的设计

机器视觉检测多相机检测系统的图像采集系统设计部分可分为两部分,为硬件和软件两个方面的设计。硬件方面需要选择适合的相机型号及数量、适用于多相机系统的计算机等内容,以确保系统采集图像的稳定可靠性。相机选型需要考虑传感器分辨率、帧率、镜头和接口等因素,并进行相机的同步控制,避免多相机采集时出现的图像重叠问题,确保精度和准确度,本文选用的是工业相机。

软件设计方面包括驱动程序开发、图像采集软件和图像预处理设计等方面。驱动程序开发根据工业相机和计算机环境开发相应的驱动程序,实现对相机的控制和数据传输。图像采集软件主要负责多相机采集系统的实时数据采集、显示、存储等功能。图像预处理软件主要负责对所获得的图片进行降噪处理、预处理、校准等处理操作,以提高后续算法处理效率和精度。

3.2.2实现系统通信

1、实现接触开关的I/O口通信

I/O通信,也称为输入/输出通信,是计算机科学中的一个基本概念,它使计算机能够与硬盘驱动器、键盘、鼠标和显示器等外部设备进行交互。在典型的计算系统中,I/O通信是在计算机和外部设备之间传输数据的过程。I/O通信过程涉及两个主要

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐