机器视觉自适应成像环境调整方法与流程

1.本发明涉及机器视觉检测技术领域，具体为一种机器视觉自适应成像环境调整方法。

背景技术：

2.零件尺寸精度检测是自动化生产中产品质量保障的一个重要环节，由于机器视觉检测技术有效地降低了传统人工检测所产生的误差并提高了生产效率，机器视觉技术被广泛用于各种大批量生产零件的尺寸精度检测中。视觉检测系统中硬件部分的主要功能是实现图像的采集，包括照明系统、成像系统。软件部分则主要是对采集到的信息进行相应的处理，从而得到检测结果，软件部分的工作过程主要包括图像预处理、定位与分割、特征提取、模式分类、图像理解等步骤。在现有的机器视觉检测技术中，为了实现对成像质量的直接控制从而改善检测精度，往往通过照明系统将外部光以合适的方式照射到被测目标上，从而减小图像中的干扰并增强某一特征，使图像更容易被镜头检测，改善成像质量，提高系统的识别效率。
3.由于实际成像效果往往受到检测目标、检测特征、检测背景、检测材质等诸多因素的影响，现有的机器视觉检测技术往往需要根据检测目标、检测特征、检测背景、检测材质等的不同，通过设置多个成像环境进行实验的方式探究针对各个零件的最佳照明方案，这种方式需要大量的对比实验和多次的人工筛选，每次实验中的照明方案也都需要人工设置，不仅十分耗费人力，实验效率也很难得到提高，无法应用于大规模生产。这不仅加大了机器视觉技术实施的难度，也降低了机器视觉检测技术在应用中的生产效率。
4.相反，如果为了降低实施难度、提高生效效率，可以采用已经设置好的固定的照明环境来检测各种不同类型的零件，但这样则难以克服工业场合多变的环境，同一生产过程中的不同零件的成像质量很难同时得到保证，并最终导致整体检测精度的下降，同一批待检测零件中彼此性状差异越大，这种精度下降的情况就会愈加明显，从而无法保证检测系统的鲁棒性和高精度。
5.此外，对于成像环境质量的评估，现有技术主要采用的人工筛选方法和通过实验对比不同环境下检测准确程度的方法，但人工筛选方法往往受到主观因素的影响，且仅限于质量极差的成像环境滤除，实验对比方法只能用于已经准确掌握某零件实际尺寸的情况，然而在实际生产中需要对新零件进行检测时则需要事先测量其尺寸才能够开展实验，这些方法导致成像环境质量的评估效率下降，无法对不同零件在某一照明方案下的成像质量进行快速准确地评估。

技术实现要素：

6.本发明提出了一种机器视觉自适应成像环境调整方法，解决了传统技术中使用同一照明方案检测不同零件时产生的检测精度下降问题。
7.为了实现上述目的，本发明采用如下技术方案：
一种机器视觉自适应成像环境调整方法，其特征在于包括以下步骤：s1，建立待检测零件信息库，所述待检测零件信息库中包含各种待检测零件的各种性状特征，每个所述特征具有可设置的、用以表征该特征的至少一个参数；s2，批量生成成像环境参数；s3，将所述待检测零件信息库和所述成像环境参数作为样本值输入级联神经网络；s4，将所述待检测零件信息库和所述成像环境参数经过图像特征统计模型以获得所述成像环境参数对应的成像环境质量指数，将所述成像环境质量指数作为标签值输入所述级联神经网络；s5，根据所述样本值和所述标签值通过所述级联神经网络进行训练迭代以获得各个特征训练好的机器学习模型；s6，根据实际待检测零件设定其所包含的特征及特征相应的参数，同时批量生成待选择成像环境参数，将上述参数均输入所述级联神经网络；利用所述训练好的机器学习模型评估各个特征在不同成像环境下的成像环境质量指数；s7，求取每种成像环境参数下各个零件成像质量指数的均值，并将均值最高的成像环境参数确定为该零件的最佳成像环境参数。
8.作为本发明的一种优选技术方案，所述图像特征统计模型包括信息丰富程度指标、构象质量指标、纹理特性指标以及清晰程度指标；其中，信息丰富程度指标定义为信息熵值，构象质量指标定义为拉式逼真度，纹理特性指标定义为纹理对比度和同质性，清晰度指标定义为平均梯度；在分别计算以上指标后对其进行归一化处理并进行加权平均，最终得到图像的综合质量指数，从而完成对成像环境质量指数的定量评价。
9.作为本发明的一种优选技术方案，所述训练迭代包括如下步骤：s51，在实际网络中训练输出节点的权重以最小化训练误差；s52，比较训练误差是否达到预设阈值；s53，如果训练误差达到预设阈值，则训练结束；否则在候选节点集中挑选一个候选节点作为新增输出节点同时计算计入该新增输出节点后的输出节点总数是否超过预设输出节点数，如果超过则训练结束，如果未超过则回到s51。
10.作为本发明的一种优选技术方案，所述挑选一个候选节点作为新增输出节点，具体是，首先选择一个候选节点集，该候选节点集中的每个候选节点都和原网络的输入节点和隐藏节点有权重的连接但并不与实际网络相连；随后在候选网络中进行训练以使该候选网络的输出与实际网络的残差的相关性最大，每次训练后调整候选节点的权重，当此相关性不再增长时，将产生最大相关性的候选节点作为新增输出节点。
11.作为本发明的一种优选技术方案，所述使该候选网络的输出与实际网络的残差的相关性最大，通过以下公式实现，其中，v
p
：候选单元的值；e
p,o
：候选单元处观察到的输出残差；
o：网络输出，从这里测量误差；p：训练模式(training pattern)；上划线￣表示平均值，为了最大化s，需要计算:其中，σo：候选项和输出o之间的相关性的符号；f’p
：模式p的候选单元的激励函数的对输入的微分；i
i,p
：候选单元从单元i处接收的输入。
12.作为本发明的一种优选技术方案，所述求取每种成像环境参数下各个零件成像质量指数的均值，是把每个特征对应的成像环境质量指数最低的数个成像环境参数滤除之后对余下的成像环境参数对应值进行求取。
13.作为本发明的一种优选技术方案，所述成像环境参数至少包括光照强度、光源距离、光源角度和光源颜。
14.作为本发明的一种优选技术方案，对于同一检测批次中具有差异的不同类待检测零件，对于每类待检测零件都进行所述s6和s7步骤，以确定每类待检测零件的最佳成像环境参数。
15.与现有技术相比，本发明提供了一种机器视觉自适应成像环境调整方法，具备以下有益效果：（1）本发明提出的自适应成像环境调整技术解决了传统技术中使用同一照明方案检测不同零件时产生的检测精度下降问题。通过针对不同零件特征的自适应成像环境调整技术，检测设备可以针对不同零件快速调整成像环境至最优环境，从而保证同一批待检测零件中即使存在较大差异，也不会造成整体精度的下降，从而保证机器视觉检测技术在不同应用环境下始终保持较高的精准度和较好的鲁棒性。
16.（2）本发明提出将机器学习模型用于成像环境质量的预测，从而克服照明方案与检测目标、检测特征、检测背景、检测材质之间复杂关系带来的不确定性，提高了最佳成像环境选取的准确程度以得到最佳效果，由于无需使用人工方式针对各个零件选取合适照明方案，避免了人为主观因素带来的不确定性，提高了最佳照明方案选取的效率，使得机器视觉检测更容易应用于大规模生产，从而进一步提高各种相关产品的规模化成套成线加工能力。
附图说明
17.图1为本发明机器视觉自适应成像环境调整方法流程示意图；图2为本发明零件信息库内部数据结构示意图；图3为本发明级联神经网络结构意图；图4为本发明级联神经网络训练流程示意图。
具体实施方式
18.实施例：有鉴于视觉检测技术中传统的光源选取方式效率很低，且在检测不同零件时很难保证较高的整体精度，本发明旨在提供一种机器视觉自适应成像环境调整方法，通过完成复杂零件特征参数化、基本零件成像环境评估模型与复杂零件特征分析，实现针对不同类型零件的最佳成像环境快速分析和自适应调整。
19.如图1所示，本发明的整体实施流程构思是：首先由用户根据所要检测的零件特征在零件信息库中定义基本特征信息；然后根据用户定义的基本特征类型，分别训练不同的机器学习模型用于预测在不同成像环境下各个基本特征与成像质量的关系；最后通过比较零件在不同成像环境下各个特征的总体成像质量，选定最终的最优照明方案，下面分几个方面具体介绍本发明的实施方案：1、用户自定义零件信息库为了能够对具有多种特征的复杂零件的成像环境进行有效调整，需要分析各种零件实际包含的特征种类与所占比重，因此本发明提出对实际用于机器视觉检测的零部件待检测特征进行分类，并对每类特征进行参数化描述，使零件的外形等性状特征可以完全用数据描述，从而保证后续可以通过机器学习算法进行成像环境质量评估算法的训练。为了满足各种不同零件种类繁多的尺寸类型，本技术提出一种允许用户自行定义设置各种特征的零件信息库。
20.如图2所示，信息库的数据结构按照零件、特征、特征参数的相互关系进行设计，用户可以根据所要检测的零件的实际情况自行添加并设定其尺寸类型和所包含的参数数量。例如，针对带有键槽类特征的零件，可以将特征1设置为键槽，设置参数1为长度，参数2为宽度，这样就可以通过两个参数描述每个零件上不同键槽的实际情况。进一步地，对于在生产中需要应用本发明的各种不同零件，用户都可以自行定义设置相关特征及其参数从而实现对零件待检测特征的数据化描述。在实际生产中同时具有多种特征的复杂零件可以看做是信息库中各种特征的组合。
[0021] 2、成像环境质量指数区别于以往通过人工筛选和实验结果比较的成像环境质量评估方法，本发明提出在评价不同照明方案下的成像环境质量时，不直接比较检测结果与实际尺寸的误差，而是根据图像的相关统计特征会受到图像失真的影响而变化的特点，通过一系列图像特征的统计模型参数来综合评价图像质量，即综合四类图像指标：信息丰富程度指标、构象质量指标、纹理特性指标以及清晰程度指标，进行图像质量的综合评价。
[0022]
其中信息丰富程度指标直接定义为信息熵值；构象质量指标定义为拉式逼真度，纹理特性指标定义为纹理对比度和同质性；清晰度指标定义为平均梯度，梯度越大图像的细节反差和清晰度越好。在分别计算以上指标后对其进行归一化处理并进行加权平均，最终得到图像的综合质量指数，从而完成对成像环境质量的定量评价。
[0023] 3、训练针对基本零件特征的成像环境质量评估模型在直接实现对复杂零件的机器视觉自适应成像环境调整之前，先得到能够自动评估具有单一特征的零件的视觉检测成像环境的模型。因此本发明提出一种使用机器学习模型实现成像环境质量评估的方法。
[0024]
3.1 构建用于训练机器学习模型的数据集。
[0025]
机器学习模型的构建依赖真实数据的训练，因此首先需要构建用于训练机器学习模型的数据集。用于训练机器学习模型的数据集中的数据分为样本值和标签值，每个样本值与标签值是成对出现一一对应的。由于最终得到的模型反映的是成像环境参数与成像环境质量指数之间的映射关系，因此用于训练该模型的数据对即为不同零件的成像环境参数和该成像环境质量指数，其中样本值为成像环境参数，标签值为成像环境质量指数。
[0026]
以下是批量获得这些数据的具体方法：首先调整成像环境参数，并记录不同成像环境参数下所得到的图像结果，通过前述图像特征的统计模型及图像质量评估方法可以得到该成像环境下得到的图像的质量，并最终得到该成像环境的质量指数，最后，多次反复重复上述步骤则可以得到针对某一基本特征的成像环境评估数据，由于成像环境参数调整、图像检测以及图像质量指数计算过程都可以通过预设好的计算机程序自动完成，以上过程可以在短时间内获取大规模的数据以满足模型训练的需要。将上述步骤应用于不同基本特征，就可以得到不同特征的成像环境评估数据。数据的整体结构如表1所示：表1 训练集数据结构3.2 级联相关神经网络模型在成像环境质量评价过程中，零件尺寸、大小、特征类型等因素与照明环境互相作用，有很多的不确定性因素，因此对预测算法的准确程度要求很高。由于基于神经网络理论的预测方法具有高度非线性拟合的能力，并可在训练的过程中根据输入数据的改变调整权重系数，从而实现对数据变化的快速反应，神经网络模型在类似的预测问题中被大量使用，但在神经网络级数和隐含节点数的选取上，迄今为止并没有可以遵循的规则，而不同的选取方案对神经网络预测的结果将带来很大的影响。针对该问题，本发明提出在成像环境质量预测中选择不需预设隐含节点和神经网络结构的级联相关 (cascade-correlation) 神经网络模型作为用于预测成像环境质量的机器学习方法。
[0027]
级联相关法是一种采取自监督的学习方法，其特点是在学习过程中只需建立几乎最少层的多层网络，如图3所示。该方法从只包括输入节点（在本发明中例如对应成像环境参数）和输出节点（在本发明中例如对应成像环境质量指数）的单层连接网络开始，采用 quickprop 方法训练，以减少总的输出误差。如图4所示，如果误差未能达到预设的目标，则在候选训练集中挑选一个候选节点作为新增节点（新神经元，或称为候选神经元）并重复训练过程，直到训练结束。在新增加一个节点时，先选择一个候选训练集，其中每个候选节点都和原网络的输入节点和隐藏节点有权重的连接，但候选节点并不与实际网络相连，从中挑选一个候选节点添加到原网络中形成候选网络，然后对候选网络开始训练，其训练的目标不是使总误差最小，而是使其输出和实际网络的残差的相关性最大，在完成该候选节点的相关性训练后，再将其替换为该候选训练集的其他候选节点重复进行相关性训练，直至遍历该候选训练集中的所有候选节点，选择最大的最大化相关性所对应的候选节点作为新增节点，添加到原网络形成新的实际网络后开始训练输出节点的权重使训练误差最小化。
在实际网络训练过程中，准备加入候选节点进行训练的候选网络也同时进行训练，如前所述，其训练的目标不是使总误差最小，而是使其输出和实际网络的残差的相关性最大，即候选神经元的训练目标是最大化新神经元的输出和网络训练误差之间的相关性 :其中：v
p ：候选单元的值e
p,o
：单元处观察到的输出残差；o：网络输出，从这里测量误差；p：训练模式(training pattern)；为了最大化s，我们需要计算:其中：σo：候选项和输出o之间的相关性的符号；f’p
：模式p的候选单元的激励函数的对输入的微分；i
i,p
：候选单元从单元i处接收的输入；每次训练后都以此来调整候选节点的权重，当此相关性不再增长时，将产生最大相关性的候选节点放入实际的网络中去训练它的输出权重。持续这个增加节点的过程，当总输出误差达到预设目标或节点数超过预设值时结束。
[0028]
完成训练之后的神经网络模型可以在给定输入值即特征参数和照明方案参数后自动预测在此成像环境下该特征的成像质量，从而快速完成成像环境质量评估。
[0029]
、针对复杂零件的最优成像环境生成算法在实际生产中所检测的复杂零件往往包含多个待检测特征，在用户完成零件信息库的定义之后，这些特征都可以被参数化从而进行前述的机器学习模型训练过程。一个复杂零件体上的尺寸特征可以看作是多个基本特征的组合，因此，可以首先利用已经训练好的机器学习模型评估复杂零件体中包含的各个特征在不同成像环境参数（即不同的照明方案）下的成像环境质量指数，并滤除其中质量指数最低的数个照明方案（例如3-5个，发明人发现该范围的照明方案是明显偏离正常情况的边界区域，以此减少明显偏离正常情况的干扰值对数据整体质量造成的影响），在完成零件所包含的所有特征在不同环境下的成像质量计算之后，求取每种照明方案下各个零件成像质量指数的均值，并将均值最高的成像环境参数确定为该零件的最佳成像环境参数，在环境参数确定后，通过程序驱动硬件将成像环境参数调整为所确定的最佳值。对于同一检测批次中具有一定差异的不同零件，在需要重新选择照明方案的情况下，可以通过程序驱动光源快速连续调整，并收集不同成像环境下的照明参数，再利用机器学习模型结合综合评估方法计算比较每种照明环境的优劣，并最终选出最合适的照明方案，从而保证在实际生产中的高效检测。
[0030]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范
围为准。

技术特征：

1.一种机器视觉自适应成像环境调整方法，其特征在于包括以下步骤：s1，建立待检测零件信息库，所述待检测零件信息库中包含各种待检测零件的各种性状特征，每个所述特征具有可设置的、用以表征该特征的至少一个参数；s2，批量生成成像环境参数；s3，将所述待检测零件信息库和所述成像环境参数作为样本值输入级联神经网络；s4，将所述待检测零件信息库和所述成像环境参数经过图像特征统计模型以获得所述成像环境参数对应的成像环境质量指数，将所述成像环境质量指数作为标签值输入所述级联神经网络；s5，根据所述样本值和所述标签值通过所述级联神经网络进行训练迭代以获得各个特征训练好的机器学习模型；s6，根据实际待检测零件设定其所包含的特征及特征相应的参数，同时批量生成待选择成像环境参数，将上述参数均输入所述级联神经网络；利用所述训练好的机器学习模型评估各个特征在不同成像环境下的成像环境质量指数；s7，求取每种成像环境参数下各个零件成像质量指数的均值，并将均值最高的成像环境参数确定为该零件的最佳成像环境参数。2.一种根据权利要求1所述的机器视觉自适应成像环境调整方法，其特征在于，所述图像特征统计模型包括信息丰富程度指标、构象质量指标、纹理特性指标以及清晰程度指标；其中，信息丰富程度指标定义为信息熵值，构象质量指标定义为拉式逼真度，纹理特性指标定义为纹理对比度和同质性，清晰度指标定义为平均梯度；在分别计算以上指标后对其进行归一化处理并进行加权平均，最终得到图像的综合质量指数，从而完成对成像环境质量指数的定量评价。3.一种根据权利要求1所述的机器视觉自适应成像环境调整方法，所述训练迭代包括如下步骤：s51，在实际网络中训练输出节点的权重以最小化训练误差；s52，比较训练误差是否达到预设阈值；s53，如果训练误差达到预设阈值，则训练结束；否则在候选节点集中挑选一个候选节点作为新增输出节点同时计算计入该新增输出节点后的输出节点总数是否超过预设输出节点数，如果超过则训练结束，如果未超过则回到s51。4.一种根据权利要求3所述的机器视觉自适应成像环境调整方法，所述挑选一个候选节点作为新增输出节点，具体是，首先选择一个候选节点集，该候选节点集中的每个候选节点都和原网络的输入节点和隐藏节点有权重的连接但并不与实际网络相连；随后在候选网络中进行训练以使该候选网络的输出与实际网络的残差的相关性最大，每次训练后调整候选节点的权重，当此相关性不再增长时，将产生最大相关性的候选节点作为新增输出节点。5.一种根据权利要求4所述的机器视觉自适应成像环境调整方法，所述使该候选网络的输出与实际网络的残差的相关性最大，通过以下公式实现，其中，v
p
：候选单元的值
e
p,o
：单元o处观察到的输出残差；o：网络输出，从这里测量误差；p：训练模式(training pattern)；为了最大化s，需要计算:其中，σ
o
：候选项和输出o之间的相关性的符号；f’p
：模式p的候选单元的激励函数的对输入的微分；i
i,p
：候选单元从单元i处接收的输入。6.一种根据权利要求1所述的机器视觉自适应成像环境调整方法，所述求取每种成像环境参数下各个零件成像质量指数的均值，是把每个特征对应的成像环境质量指数最低的数个成像环境参数滤除之后对余下的成像环境参数对应值进行求取。7.一种根据权利要求1所述的机器视觉自适应成像环境调整方法，所述成像环境参数至少包括光照强度、光源距离、光源角度和光源颜。8.一种根据权利要求1所述的机器视觉自适应成像环境调整方法，对于同一检测批次中具有差异的不同类待检测零件，对于每类待检测零件都进行所述s6和s7步骤，以确定每类待检测零件的最佳成像环境参数。

技术总结

本发明公开了一种机器视觉自适应成像环境调整方法，首先由用户根据所要检测的零件特征在零件信息库中定义基本特征信息；然后根据用户定义的基本特征类型，分别训练不同的机器学习模型用于预测在不同成像环境下各个基本特征与成像质量的关系；最后通过比较零件在不同成像环境下各个特征的总体成像质量，选定最终的最优照明方案。本发明通过完成复杂零件特征参数化、基本零件成像环境评估模型与复杂零件特征分析，实现针对不同类型零件的最佳成像环境快速分析和自适应调整。环境快速分析和自适应调整。环境快速分析和自适应调整。