1.本发明涉及机器人技术领域，具体为一种基于机器视觉的螺纹部件自动装配方法。
背景技术：
2.螺纹联接是将具有螺纹的零件和被连接件通过转动而装配或松开的可拆卸联接。在航空航天行业中，螺纹联接是航空发动机的主要联接方式，工作量约占总工作量的50％，并对螺纹连接质量和可靠性要求非常高；在汽车行业中，螺纹联接的装配过程所要消耗的时间约占整车装配时间的70％。
3.现阶段基于机器视觉的螺纹装配技术，主要分为两种，一种为螺丝振动盘进行分拣上料再完成装配，该方法缺点是只适用于特定型号螺丝的尺寸，无法适应多型号尺寸螺丝的要求，另一种为真空吸盘吸附螺丝到指定位置后再由人工完成装配，该方法缺点为步骤繁琐，仍需要人工操作。综上所述，现阶段的螺纹装配技术依旧停留在非自动化或半自动化的阶段，装配效率较低，工作强度较大，装配精度不高，并且可操作空间十分有限。
4.更严重的是，现阶段基于机器视觉的螺纹装配技术对螺纹部件的形状有固定要求，必须满足螺纹部件的长宽比约为3：1的条件下，才能通过固定的轨道痕迹将螺纹部件拖动到指定位置完成装配。然而，在装配过程中就容易产生在螺纹工件表面产生划痕以及应力不可控等问题。
技术实现要素：
5.为了解决上述问题，本发明提供了基于机器视觉的螺纹部件自动装配方法，能够实现螺纹部件的夹取与装配并避免与其余零件的摩擦，能够获取工件上对应的孔位置并得到孔位置与机器人位置的转换关系，从而完成螺纹部件的自动化装配。
6.本发明的目的是通过以下技术方案实现的：
7.一种基于机器视觉的螺纹部件自动装配方法，包括以下步骤：
8.步骤一、螺纹部件的标定与夹取：
9.s11.通过相机确定螺纹部件在料盘上的位置，并对螺纹部件表面的三个圆形槽口位置进行标定；
10.s12.通过坐标变换得到三个圆形槽口基于机器人坐标系的对应位置坐标；
11.s13.机器人按照获得的位置坐标移动到相应位置完成螺纹部件的夹取；
12.步骤二、将工件固定在初始装配位置，并对工件上的螺纹孔及盲孔位置进行标定：
13.s21.通过工件固定机构完成工件在初始装配位置的固定；
14.s22.工件表面设置有上下两个孔位，分别为盲孔和螺纹孔，通过相机完成对盲孔和螺纹孔的定位以及尺寸测量；
15.s23.基于相机坐标系的孔位置，通过坐标变换，得到孔位置相对于机器人坐标系的位置关系，完成相机与机器人的手眼关系标定，得到盲孔及螺纹孔对应机器人坐标系的
位置坐标，完成工件孔的标定；
16.步骤三、机器人夹取螺纹部件移动至工件的螺纹孔对应位置进行螺纹部件与工件的预装配；
17.步骤四、将预装配后的工件移动至最终装配位置并进行固定，完成螺纹部件的最终装配：
18.s41.工件在初始装配位置完成与螺纹部件的预装配后，将工件移动至最终装配位置并固定工件；
19.s42.通过相机对预装配在工件上的螺纹部件表面的三个圆形槽口进行定位；
20.s43.校准力矩扳手位置，使其对准螺纹部件的槽口位置；
21.s44.将力矩扳手与螺纹部件对接，控制力矩扳手完成螺纹部件最终装配。
22.进一步地，所述机器人末端通过法兰盘连接有三爪型气爪，三爪型气爪末端设置有夹爪，夹爪用于配合并夹持螺纹部件的圆形槽口。
23.进一步地，所述夹爪上设置有与螺纹部件圆形槽口相同大小的卡口；当三爪型气爪不工作时，夹爪的卡口保持与螺纹部件同心的位置不变；当三爪型气爪进行夹取工作时，三个夹爪同时向内收缩并依旧保持与螺纹部件同心，直至夹爪卡口与螺纹部件的槽口适配，完成螺纹部件的夹取。
24.进一步地，所述步骤二中，通过工件固定机构固定工件：首先将工件放置在工件固定机构的平行气夹上方，并在工件的上方及后方分别安装两个气缸，平行气夹夹紧工件，两个气缸伸出挤压工件，使工件固定在初始装配位置。
25.进一步地，所述步骤s22具体包括：
26.s221.基于yolo v5模型对螺纹部件的圆形槽口进行定位：首先通过相机采集螺纹部件多角度摆放的图像，再对螺纹部件以及不同角度下螺纹部件的圆形槽口位置图像进行标注，制成螺纹部件图像的数据集、训练集、验证集，利用螺纹部件图像数据集对yolo v5模型进行训练，最终输出螺纹部件圆形槽口的位置信息；
27.s222.使用python中的opencv数据库，运用canny边缘检测算法对相机拍得的工件表面图像进行预处理，根据像素的梯度变化寻找图像边缘，最终得到精细的二值边缘图像，再通过霍夫圆环变换算法，识别图片表面的圆环特征，先筛选出圆的圆心坐标，再筛选计算这些圆心坐标对应的半径长度，并将圆心坐标和半径封装成浮点型数组；
28.s223.识别工件螺纹孔特征，进而计算螺纹孔心尺寸及位置。
29.进一步地，所述步骤三中，通过matlab进行机器人运动学正逆运算，实现预装配轨迹规划，采用五次多项式求解各关节起点与终点的加速度；并通过力传感器实时监测预装配过程。
30.进一步地，所述步骤s41中，通过工件固定机构的直线移动模组将工件移动至最终装配位置，通过与初始装配位置相同的方式完成工件固定。
31.进一步地，所述步骤s43包括：最终装配位置前方设有拧紧机构，力矩扳手通过直线移动模组设置在拧紧机构端部；力矩扳手前端设置有三个与螺纹部件的圆形槽口同样大小的圆柱销；根据相机确定的圆形槽口位置，调整力矩扳手前端圆柱销位姿，使圆柱销与对应的圆形槽口同心。
32.进一步地，所述步骤s44包括：通过直线移动模组将力矩扳手与螺纹部件对接，控
制力矩扳手完成螺纹部件最终装配。
33.进一步地，所述步骤s44中，采用基于螺纹零件圆孔特征的快速装配控制方法进行螺纹部件装配，并实时监测力矩扳手扭矩曲线，实现自适应调整装配力矩和装配速度。
34.与现有技术相比，本发明的有益效果是：
35.1、本发明通过使用单目视觉测量模型与标定算法，对相机拍摄的图像进行canny边缘检测以及霍夫圆环变换处理，保证识别零件圆孔特征的准确性，进而得到精确的螺纹零件孔尺寸及孔心位置，提高机器视觉定位系统的识别精度。
36.2、本发明通过使用单目视觉系统与机器人两者结合的设备，使用机器人完成螺纹部件的预装配，再使用力矩扳手完成最终装配，完全实现了螺纹部件的自动装配，提高了工作效率，降低劳动强度和人工成本。
37.3、本发明为满足装配过程的精度要求，采用五次多项式轨迹规划方法对机器手进行轨迹规划，实时监测机器人各关节状态，并根据力矩扳手装配中的力矩和速度，设计一种力矩扳手的控制方法，保证螺纹部件快速、精准装配。
38.4、本发明通过手眼标定方法，将基于相机坐标系的孔位置通过坐标变换程序进行处理，最终得到孔位置相对于机器人坐标系的位置关系，从而完成相机与机器人的手眼关系标定。
附图说明
39.图1为本发明实施例基于机器视觉的螺纹部件自动装配方法使用的装配系统组成原理图；
40.图2为本发明实施例基于机器视觉的螺纹部件自动装配方法使用的装配系统结构示意图；
41.图3为本发明实施例所述六轴机器人结构示意图；
42.图4为本发明实施例所述工件结构示意图；
43.图5为本发明实施例所述螺纹部件结构示意图；
44.图中：
45.1-料盘；2-工件固定机构；3-螺纹部件；4-工件；5-六轴机器人；6-相机；7-拧紧机构；31-圆形槽口；41-盲孔；42-螺纹孔；501-法兰盘；502-三爪型气爪；503-夹爪。
具体实施方式
46.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公开的实施方式进一步详细描述。以下结合实施例和附图对本发明的保护范围不构成任何限制，所述实施例和附图仅用于对本发明进行示例性的描述，而不能对本发明的保护范围构成任何限制，所包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
47.一种基于机器视觉的螺纹部件自动装配方法，包括以下步骤：
48.步骤一、螺纹部件的标定与夹取：
49.s11.通过相机确定螺纹部件在料盘上的位置，并对螺纹部件表面的三个圆形槽口位置进行标定；
50.s12.通过坐标变换得到三个圆形槽口基于机器人坐标系的对应位置坐标；
51.s13.机器人按照获得的位置坐标移动到相应位置完成螺纹部件的夹取；
52.步骤二、将工件固定在初始装配位置，并对工件上的螺纹孔及盲孔位置进行标定：
53.s21.通过工件固定机构完成工件在初始装配位置的固定；
54.s22.工件表面设置有上下两个孔位，分别为盲孔和螺纹孔，通过相机完成对盲孔和螺纹孔的定位以及尺寸测量；
55.s23.基于相机坐标系的孔位置，通过坐标变换，得到孔位置相对于机器人坐标系的位置关系，完成相机与机器人的手眼关系标定，得到盲孔及螺纹孔对应机器人坐标系的位置坐标，完成工件孔的标定；
56.步骤三、机器人夹取螺纹部件移动至工件的螺纹孔对应位置进行螺纹部件与工件的预装配；
57.步骤四、将预装配后的工件移动至最终装配位置并进行固定，完成螺纹部件的最终装配：
58.s41.工件在初始装配位置完成与螺纹部件的预装配后，将工件移动至最终装配位置并固定工件；
59.s42.通过相机对预装配在工件上的螺纹部件表面的三个圆形槽口进行定位；
60.s43.校准力矩扳手位置，使其对准螺纹部件的槽口位置；
61.s44.将力矩扳手与螺纹部件对接，控制力矩扳手完成螺纹部件最终装配。
62.进一步地，所述机器人末端通过法兰盘连接有三爪型气爪，三爪型气爪末端设置有夹爪，夹爪用于配合并夹持螺纹部件的圆形槽口。
63.进一步地，所述夹爪上设置有与螺纹部件圆形槽口相同大小的卡口；当三爪型气爪不工作时，夹爪的卡口保持与螺纹部件同心的位置不变；当三爪型气爪进行夹取工作时，三个夹爪同时向内收缩并依旧保持与螺纹部件同心，直至夹爪卡口与螺纹部件的槽口适配，完成螺纹部件的夹取。
64.进一步地，所述步骤二中，通过工件固定机构固定工件：首先将工件放置在工件固定机构的平行气夹上方，并在工件的上方及后方分别安装两个气缸，平行气夹夹紧工件，两个气缸伸出挤压工件，使工件固定在初始装配位置。
65.进一步地，所述步骤s22具体包括：
66.s221.基于yolo v5模型对螺纹部件的圆形槽口进行定位：首先通过相机采集螺纹部件多角度摆放的图像，再对螺纹部件以及不同角度下螺纹部件的圆形槽口位置图像进行标注，制成螺纹部件图像的数据集、训练集、验证集，利用螺纹部件图像数据集对yolo v5模型进行训练，最终输出螺纹部件圆形槽口的位置信息；
67.s222.使用python中的opencv数据库，运用canny边缘检测算法对相机拍得的工件表面图像进行预处理，根据像素的梯度变化寻找图像边缘，最终得到精细的二值边缘图像，再通过霍夫圆环变换算法，识别图片表面的圆环特征，先筛选出圆的圆心坐标，再筛选计算这些圆心坐标对应的半径长度，并将圆心坐标和半径封装成浮点型数组；
68.s223.识别工件螺纹孔特征，进而计算螺纹孔心尺寸及位置。
69.进一步地，所述步骤三中，通过matlab进行机器人运动学正逆运算，实现预装配轨迹规划，采用五次多项式求解各关节起点与终点的加速度；并通过力传感器实时监测预装
配过程。
70.进一步地，所述步骤s41中，通过工件固定机构的直线移动模组将工件移动至最终装配位置，通过与初始装配位置相同的方式完成工件固定。
71.进一步地，所述步骤s43包括：最终装配位置前方设有拧紧机构，力矩扳手通过直线移动模组设置在拧紧机构端部；力矩扳手前端设置有三个与螺纹部件的圆形槽口同样大小的圆柱销；根据相机确定的圆形槽口位置，调整力矩扳手前端圆柱销位姿，使圆柱销与对应的圆形槽口同心。
72.进一步地，所述步骤s44包括：通过直线移动模组将力矩扳手与螺纹部件对接，控制力矩扳手完成螺纹部件最终装配。
73.进一步地，所述步骤s44中，采用基于螺纹零件圆孔特征的快速装配控制方法进行螺纹部件装配，并实时监测力矩扳手扭矩曲线，实现自适应调整装配力矩和装配速度。
74.实施例
75.本实施例为基于机器视觉的螺纹部件自动装配方法，该方法使用一种螺纹部件自动装配系统，如图1、图2所示，所述螺纹部件自动装配系统包括料盘1、工件定位机构2、六轴机器人5、相机6、拧紧机构7。
76.所述螺纹部件自动装配方法包括：
77.步骤一、螺纹部件的标定与夹取：螺纹部件3摆放在料盘1上，首先通过相机6确定螺纹部件3在料盘1中摆放的位置，并对螺纹部件3表面的三个圆形槽口31进行位置标定；然后通过坐标变换得到三个槽口基于六轴机器人5的机器人坐标系的对应坐标；然后根据螺纹部件3三个圆形槽口的坐标位置，控制六轴机器人5移动到相应位置完成螺纹部件3的夹取。如图3所示，六轴机器人5末端设置有法兰盘501，将三爪型气爪502通过法兰盘501与六轴机器人5末端连接，三爪型气爪502末端设置有根据螺纹部件特制的夹爪503，夹爪503用于配合螺纹部件3的圆形槽口31；具体地，夹爪503上设置有与螺纹部件圆形槽口31相同大小的卡口，当三爪型气爪不工作时，夹爪的卡口保持与螺纹部件同心的位置不变，当三爪型气爪进行夹取工作时，三个夹爪503同时向内收缩并依旧保持与螺纹部件同心，直至夹爪卡口与螺纹部件的槽口适配，完成螺纹部件的夹取。
78.步骤二、将工件4固定在工件固定机构2上：首先将工件4放置在工件固定机构2的平行气夹上方，并在工件4的上方及后方分别安装两个气缸，平行气夹夹紧工件4，两个气缸伸出挤压工件，使工件固定在初始装配位置。如图4所示，工件4表面设置有上下两个孔位，分别为盲孔41和沉头螺纹孔42，通过相机6完成对盲孔41和沉头螺纹孔42的定位以及尺寸测量，得到基于相机坐标系的孔位置，并通过坐标变换程序处理，得到孔位置相对于机器人坐标系的位置关系，从而完成相机6与机器人5的手眼关系标定，得到盲孔41及螺纹孔42对应机器人坐标系的对应坐标，完成工件孔的标定。
79.本实施例中，所述通过相机6完成对盲孔41和沉头螺纹孔42的定位以及尺寸测量的方法为：基于yolo v5模型对螺纹部件的槽口进行定位，首先通过相机采集螺纹部件多角度摆放的图像，再对螺纹部件以及不同角度下螺纹部件的槽口位置图像进行标注，制成螺纹部件的数据集，训练集，验证集，测试集的的比例为8:1:1,利用已经制成的螺纹部件图像数据集对yolo v5模型进行训练，最终输出螺纹部件槽口的位置信息。采集到螺纹部件图像后，绘制三条将螺纹部件的圆心与三个槽口之间的圆心连接的直线，该三条直线设置为螺
纹部件的初始角度。对新采集的螺纹部件图像再次以该方式绘制三条直线，对应直线间的角度即为螺纹部件实际的偏转角度。使用python中的opencv数据库，运用canny边缘检测算法对相机拍得的工件表面图像进行预处理，该算法可以在保留原有图像属性的情况下，显著减少图像的数据规模，根据像素的梯度变化寻找图像边缘，最终得到精细的二值边缘图像，再通过霍夫圆环变换算法，识别图片表面的圆环特征，先筛选出圆的圆心坐标，再筛选计算这些圆心坐标对应的半径长度，并将圆心坐标和半径封装成浮点型数组，便于查找与使用。
80.步骤三、通过六轴机器人5进行螺纹部件3与工件4的预装配：完成工件孔的标定后，六轴机器人5夹取螺纹部件3移动至工件4上螺纹孔42的位置，通过matlab对整个预装配路径进行规划，六轴机器人5按照规划的路径将螺纹部件3直接放入工件的螺纹孔42中，完成预装配。优选地，机器人5将螺纹部件3运输至确定的工件螺纹孔42位置后，控制机器人5将螺纹部件3拧入螺纹孔42一定深度，完成螺纹部件的预装配，并在机器人5末端安装力学传感器，实时监测预装配过程中的机器人状态。优选地，通过matlab进行机器人运动学正逆运算，实现预装配轨迹规划，采用五次多项式求解各关节起点与终点的加速度，保证运动过程中的稳定性，并通过力传感器实时监测预装配过程，实现机器人快速、高精度预装配螺纹部件。
81.步骤四、螺纹部件与工件的拧紧装配：螺纹部件与工件在初始装配位置完成预装配后，通过工件固定机构的直线移动模组将预装配后的工件移动至最终装配位置，并通过与初始装配位置相同的方式完成工件在最终装配位置的固定；最终装配前方设置有拧紧机构，拧紧机构包括设置在最终装配前方的力矩扳手，力矩扳手前端设置有一个圆柱形端头，圆柱形端头上设置有三个与螺纹部件的圆形槽口31同样大小的圆柱销，通过相机6确定已经预装配在工件上的螺纹部件表面的三个圆形槽口的位置；如圆柱销的位置与槽口相对应，则由拧紧机构的直线移动模组将力矩扳手向前移动至对应位置，通过力矩扳手完成螺纹部件的拧紧装配，如定位销的位置与槽口不对应，则首先旋转力矩扳手保证定位销与槽口的位置相对，再由直线移动模组将力矩扳手向前移动至对应位置，通过力矩扳手完成螺纹部件的最终装配。优选地，本实施例中使用的力矩扳手为阿特拉斯公司生产的力矩扳手，但该装置的选择并不唯一，能够满足装配条件的任何力矩扳手均可以对本文中的进行替换。优选地，本实施例采用基于螺纹零件圆孔特征的快速装配控制方法，并实时监测力矩扳手扭矩曲线分析实现自适应调整装配力矩和装配速度，实现螺纹联接高精度装配。
82.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。