1.本发明涉及质检技术领域，具体而言，涉及基于机器视觉的工件质检方法及装置。
背景技术：
2.工业缺陷检测是工业生产中一个重要的环节，在完成产品生产后，需要对生产的工件进行缺陷检测，通过缺陷检测的工件可以进入后续加工或包装等环节。在这种情况下，如果不能及时检测出有缺陷的工件，则会导致有缺陷的工件进入后续环节，造成生产线资源的浪费。目前，工业界普遍采取的工件缺陷检测的方式主要有人工质检和基于机器视觉的工件质检，由于机器视觉的工件质检在准确率、速度和成本上都优于人工质检，因此利用机器的检测代替人工是必然的趋势。但是由于现有技术中不能准确的检测和提取到工件的特征点，在后续的特征比对中准确率较低，导致工件质检的精度达不到要求。
技术实现要素：
3.本发明的目的在于提供一种基于机器视觉的工件质检方法及装置，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：第一方面，本技术提供了一种基于机器视觉的工件质检方法，包括：获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
4.第二方面，本技术还提供了一种基于机器视觉的工件质检装置，其特征在于，包括：选取模块：用于获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;预处理模块：用于对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;数据集构建模块：用于由非标准图像作为输入标签、非标准图像对应的真实特征
点集作为输出标签，将多张非标准图像划分为训练集和测试集；模型训练模块：用于以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；预测模块：用于获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；比对模块：用于选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
5.第三方面，本技术还提供了一种基于机器视觉的工件质检设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述基于机器视觉的工件质检方法的步骤。
6.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于机器视觉的工件质检方法的步骤。
7.本发明的有益效果为：本发明通过图像采集设备采集工件的非标准图像和标准图像，并提取图像中工件的特征点，再将非标准图像用于模型训练，得到训练完成的特征点检测模型。通过利用特征点检测模型提取待质检工件图像的特征点，不仅能够加快特征点的检测效率，还能够提高准确性。最后，将检测到的特征点与标准图像的特征点进行比对，分析出待质检工件是否合格。
8.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
9.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
10.图1为本发明实施例中所述的基于机器视觉的工件质检方法流程示意图;图2为本发明实施例中所述的基于机器视觉的工件质检装置结构示意图；图3为本发明实施例中所述的基于机器视觉的工件质检设备结构示意图。
具体实施方式
11.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施
例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
13.实施例1：本实施例提供了一种基于机器视觉的工件质检方法,参见图1，其包括如下步骤：s1.获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;本实施例中,所述工件包括但不限于冲压件、温感件、五金件以及汽车的各种零部件等。
14.由于在生产过程中会生产多种不同的工件，因此，对生产线所生产的全部工件均需要采集多张图像，其中包括合格的工件图像，即标准图像，和不合格的工件图像，即非标准图像。通常来说，每一种工件的标准图像仅需要一张即可。
15.基于以上实施例，本方法还包括：s2.对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;具体的，所述步骤s2包括：s21.对若干种工件进行编号，依次对每种工件对应的标准图像和非标准图像进行多次降采样，使每张标准图像或非标准图像生成对应的多张高尺度图像；本实施例中，为方便存储和调取信息，依次对每一种工件进行编号，将属于一种工件的图像归集在一个存储库中，存储库的名称与编号对应。
16.本实施例中，按照编号顺序，依次对每一个存储库中的每一张工件图像进行处理，一张工件图像对应着多张高尺度图像。
17.s22.根据预设的积分尺度和微分尺度计算得到每一张尺度图像中像素点的响应函数值：;式中，为积分尺度和为微分尺度，x表示高斯平滑图像上对应的像素点(x，y)，表示对矩阵进行行列式运算, 表示对矩阵进行迹运算，为常数。
18.s23.依次计算出每张高尺度图像中每个像素点所对应的响应函数值后，从多张高尺度图像中选取出每个像素点的响应函数最大值，并判断其响应函数最大值是否大于预设阈值，若是，则将其对应的像素点作为图像的真实特征点，由此可以得到一张工件图像的真实特征点集。
19.需要说明的是，本实施例中所提及的图像为标准图像或非标准图像。
20.s24.由一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集构成所述工件的对照库；具体的，将一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点
集加入到对应编号的存储库中，得到每一种编号的对照库。
21.基于以上实施例，本方法还包括：s3.由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；本实施例中，选用非标准图像作为数据集，作为可选的，标准图像也可以作为数据集;以及s4.以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；具体的，所述步骤s4包括：s41.利用生成器和鉴别器搭建初始网络模型，将训练集中的非标准图像生成器进行学习，得到预测特征点集；优选的，所述生成器由输入层、去卷积层及输出层构成、所述判别器由输入层、卷积层、全连接层及输出层构成。
22.s42.将训练集中的非标准图像对应的真实特征点集输入鉴别器进行学习，判断生成器所生成的预测特征点集是否为真：若判断为假，则所述生成器重新学习非标准图像并重复生成预测特征点集，鉴别器重复判断所生成的预测特征点集，直到将预测特征点集判断为真；否则，所述初始网络模型完成训练;其中，判别器的判断机制为：；式中，d为判别器，g为生成器，g(z)为生成器根据输入的随机噪声z生成的内容，d(x)为判别器对真实数据集中的数据所产生的判别结果，d(g(z))为判别器对生成数据产生的判别结果，为真实数据集中x的数学期望，x为生成器的输入，为输入随机噪声中z的数学期望。
23.当g不变时，通过调整d的参数值使得价值函数v最大，即令d(x)趋于1，d(g(z))趋于0，即判别器将真实特征点判断为真，预测特征点则判断为假，进行真假二分类。若判断为假，则返回生成器，并进行参数调整，优化后重新生成预测特征点；若判断为真，则通过去卷积将生成的预测特征点输出。
24.当d不变时，通过调整g的参数值使得价值函数最小，即令d(g(z))趋于1，表示判别器将生成器生成的预测特征点判别为真。
25.重复上述步骤，当所述d(g(z))的值达到平衡时，说明判别器的判断精度达到要求，也说明由判别器判断为真的预测特征点与真实特征点相比，相似度达到要求。
26.s43.将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；s44.计算所述预测特征点集与对应的真实特征点集的第二特征差异值；s45.判断所述第二特征差异值是否小于第二预设值：若是，则所述初始网络模型完成测试，得到特征点检测模型；本实施例中，所述第二特征差异值的计算方法为：s451. 将预测特征点集中的预测特征点与测试集中非标准图像对应的真实特征
点进行匹配，得到若干对特征点对；s452. 计算每对特征点对的第二相似度；具体的，第二相似度的计算方法为：s4521.从若干对特征点对中选取预设对特征点构造多个对照点集，并计算所述每个所述对照点集的变换矩阵，本实施例中选取8对特征点构造对照点集；;式中，表示对照点集的变换矩阵，由此得到v个对照点集的变换矩阵。
27.s4522.根据每对特征点和所有变换矩阵计算得到每个真实特征点对应的第一残差向量；以及根据每个真实特征点和所有变换矩阵计算得到每个真实特征点对应的第二残差向量；所述第一残差向量为：，其中，表示第v对特征点中的预测特征点中的对于v个变换矩阵的残差；所述第二残差向量为：，其中，表示第v对特征点中的真实特征点中的对于v个变换矩阵的残差；s4523.利用所述第一残差向量和第二残差向量计算得到预测特征点与真实特征点的第二相似度：；式中，表示与之间的相似度，即欧几里得距离。
28.s453.将全部特征点对的第二相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；本实施例中选取相似度排序为前10的10对特征点对作为基准点；s454.由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；预测特征点与第一个基准点构成的第一位置向量为：；式中，表示第个预测特征点与第一个基准点的相对位置，其中相对位置包括横向间距和纵向间距；真实特征点与第一个基准点构成的第一位置向量为：；式中，表示第个真实特征点与第一个基准点的相对位置；由此可以得到10个第一位置向量和10个第二位置向量。
29.s455.基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第二特征差异值；；s456.当所述第二特征差异值小于第二预设值时，初始网络模型完成测试，具体的，所述第一预设值可根据实际的对工件的检测精度要求进行设定，本实施例不进行限定。
30.基于以上实施例，本方法还包括：s5.获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；具体的,获取待质检工件的编号，根据待质检工件的编号确定对应的对照库；从对照库中获取标准图像和标准图像的真实特征集。
31.基于以上实施例，本方法还包括：s6.选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
32.具体的,所述步骤s6包括:s61.将预测特征点集中的预测特征点与标准图的真实特征点进行匹配，得到若干对特征点对；s62.计算每对特征点对的第一相似度；s63.将全部特征点对的第一相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；s64.由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；s65.基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第一特征差异值；s66.当所述第一特征差异值小于第一预设值时，待质检工件合格；本实施例中，第一相似度与第二相似度的计算方法相同，此处不再赘述。
33.实施例2：如图2所示，本实施例提供了一种基于机器视觉的工件质检装置，所述装置包括：选取模块：用于获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;预处理模块：用于对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;数据集构建模块：用于由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；模型训练模块：用于以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
预测模块：用于获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；比对模块：用于选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
34.基于以上实施例，预处理模块包括：降采样单元：用于对若干种工件进行编号，依次对每种工件对应的标准图像和非标准图像进行多次降采样，使每张标准图像或非标准图像生成对应的一张低尺度图像和多张高尺度图像；提取单元：用于提取低尺度图像中的初始特征点，根据初始特征点在每个高尺度图像中定位得到高尺度特征点；筛选单元：用于利用多个高尺度图像为每个高尺度特征点构建多个黑塞矩阵，由所述黑塞矩阵从多个高尺度特征点中筛选出多个真实特征点，由多个真实特征点构成一张标准图像或非标准图像对应的真实特征点集；对照库构成单元：用于由一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集构成所述工件的对照库。
35.基于以上实施例，模型训练模块包括：第一学习单元：用于利用生成器和鉴别器搭建初始网络模型，将训练集中的非标准图像生成器进行学习，得到预测特征点集；第一判断单元：用于将训练集中的非标准图像对应的真实特征点集输入鉴别器进行学习，判断生成器所生成的预测特征点集是否为真：用于若判断为假，则所述生成器重新学习非标准图像并重复生成预测特征点集，鉴别器重复判断所生成的预测特征点集，直到将预测特征点集判断为真；否则，所述初始网络模型完成训练。
36.基于以上实施例，模型训练模块还包括：第二学习单元：用于将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；第一计算单元：用于计算所述预测特征点集与对应的真实特征点集的第二特征差异值；第二判断单元：用于判断所述第二特征差异值是否小于第二预设值：用于若是，则所述初始网络模型完成训练，得到特征点检测模型。
37.基于以上实施例，比对模块包括：确定单元：用于获取待质检工件的编号，根据待质检工件的编号确定对应的对照库；获取单元：用于从对照库中获取标准图像和标准图像的真实特征集。
38.基于以上实施例，比对模块还包括：匹配单元：用于将预测特征点集中的预测特征点与标准图的真实特征点进行匹配，得到若干对特征点对；第二计算单元：用于计算每对特征点对的第一相似度；
第一排序单元：用于将全部特征点对的第一相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；向量构成单元：用于由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；第二计算单元：用于基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第一特征差异值；当所述第一特征差异值小于第一预设值时，待质检工件合格。
39.需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
40.实施例3：相应于上面的方法实施例，本实施例中还提供了一种基于机器视觉的工件质检设备，下文描述的一种基于机器视觉的工件质检设备与上文描述的一种基于机器视觉的工件质检方法可相互对应参照。
41.图3是根据示例性实施例示出的一种基于机器视觉的工件质检设备800的框图。如图3所示，该基于机器视觉的工件质检设备800可以包括：处理器801，存储器802。该基于机器视觉的工件质检设备800还可以包括多媒体组件803， i/o接口804，以及通信组件805中的一者或多者。
42.其中，处理器801用于控制该基于机器视觉的工件质检设备800的整体操作，以完成上述的基于机器视觉的工件质检方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于机器视觉的工件质检设备800的操作。多媒体组件803可以包括屏幕和音频组件。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于机器视觉的工件质检设备800与其他设备之间进行有线或无线通信。
43.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于机器视觉的工件质检方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于机器视觉的工件质检设备800的处理器801执行以完成上述的基于机器视觉的工件质检方法。
44.实施例4：相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于机器视觉的工件质检方法可相互对应参照。
45.一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于机器视觉的工件质检方法的步骤。
46.该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
47.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
48.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。