一种基于深度学习的林下经济作物生产线杂质检测的方法与流程

1.本发明涉及杂质检测领域，尤其涉及一种基于深度学习的林下经济作物生产线杂质检测的方法。

背景技术：

2.榛子、山核桃等作为东北林区的重要经济作物，是东北林下经济产业的重要组成部分。传统的生产线杂质检测主要依靠人工判断，费时费力且难以满足现代化工业生产的实际需求。随着科技的不断发展，人们开始利用工业相机影像获取速度快、分辨率高等优点，将生产线影像与计算机视觉、深度学习等技术结合，通过大量数据对模型的不断训练使模型与目标检测结果达到较高准确率，做到有效分割检测杂质，区分优劣产品，对于其产品质量提升具有重要作用；
3.现有的林下经济作物生产线杂质检测的方法虽然便于对杂质进行追踪和分拣，实现对生产的智能检测和后续杂质处理，但是使用局限性较大，无法为图像检测以及识别提供技术支撑，图像分类精度低；为此，我们提出一种基于深度学习的林下经济作物生产线杂质检测的方法。

技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于深度学习的林下经济作物生产线杂质检测的方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于深度学习的林下经济作物生产线杂质检测的方法，该检测方法具体步骤如下：
7.(1)采集生产线信息并进行图像处理；
8.(2)标注杂质信息以训练深度学习模型；
9.(3)通过深度学习模型进行判断区分；
10.(4)构建检测平台并实时显示检测结果。
11.作为本发明的进一步方案，步骤(1)中所述图像处理具体步骤如下：
12.步骤一：通过工业相机采集林下经济作物生产线的运输信息以获取相对应的视频数据，之后对采集到影像数据进行逐帧提取，依据提取出的视频图像的显示比例来确定分块数量，并对该视频图像进行分块处理；
13.步骤二：将分块后的各组视频图像通过傅里叶正反变换进行图像空间转换至频率空间的相互变换，同时当视频图像转换至频率空间后，对各视频图像中的高频成分进行分析提取，并对其进行低通滤波处理，再各视频图像转换至图像空间中；
14.步骤三：对处理完成的视频图像中各像素点r、g以及b三组分量数据进行采集，再依据采集到的三组分量对x、y以及z三组刺激值进行计算，以构建l
*a*b*
模型，并收集该视频图像l
*
、a
*
以及b
*
的平均值作为该视频图像的特征向量，并将其反馈给工作人员进行查看。
15.作为本发明的进一步方案，步骤(2)中所述深度学习模型具体包括u-net网络模型以及deeplabv3+模型。
16.作为本发明的进一步方案，步骤(2)中所述深度学习模型具体训练步骤如下：
17.第一步：工作人员通过图像标注工具labelme对各组视频图像中的杂质特征影像进行手工标注，之后精确称量杂质和作物重量，同时按照其在图片中所占的面积制作图片面积-重量数据集并进行线性回归分析以获取重量与图片面积的关系；
18.第二步：通过计算标注的杂质特征影像的方差系数对其进行特征降维处理，并筛除对于表征能力差的特征影像，之后将这些特征影像按照7:3的比例划分为训练集和测试集，再对训练集进行标准化处理；
19.第三步：将训练样本输送到深度学习模型中，设置模型具体参数，采用长期迭代法训练该深度学习模型，并将测试集输入到训练好的模型中，若测试准确率满足期望值，则停止训练，反之继续上述步骤，最后，对满足期望值的深度学习模型进行准确率、检出率和误报率评估，并生成相对应的曲线走势图。
20.作为本发明的进一步方案，第二步中所述方差系数具体计算公式如下：
[0021][0022]
式中，σ表示特征影像的标准差；μ表示特征影像的均值；cv表示特征影像的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，予以剔除；
[0023]
第二步中所述标准化处理具体计算公式如下：
[0024][0025]
其中，x表示提出的特征影像参数；mean(x)表示对所提特征影像参数进行平均处理；std(x)表示对特征影像参数的标准差。
[0026]
作为本发明的进一步方案，步骤(3)中所述判断区分步骤如下：
[0027]
s1：从采集到的n组视频图像中选择一组作为验证数据，并通过该验证数据来验证两组深度学习模型的精度，并通过均方根误差对各组深度学习模型的检测能力进行计算，如此重复n次，再对比两组深度学习模型的精度，并选取精度较高的进行杂质检测；
[0028]
s2：若u-net网络模型判断精度较高，则通过u-net网络模型提取视频图像中的主干特征信息，并通过卷积和最大池化堆叠以获取五个初步有效特征层，再对获取的特征层进行特征融合；
[0029]
s3：之后加强提取得主干特征，并进行上采样和特征融合，并获得一个融合所有特征的有效特征层，再利用最终获得的最后一个有效特征层对每一个特征点进行分类；
[0030]
s4：若deeplabv3+模型判断精度较高，则通过deeplabv3+模型控制编码器提取特征的分辨率，再用不同级别的萎缩性卷积核对压缩四次的初步有效特征层进行特征提取以及合并，并用1x1卷积压缩特征，之后解码时，利用1x1卷积调整初步有效特征层通道数，再将其与空洞卷积后的有效特征层的上采样结果进行堆叠，最后分离卷积块以获得整张图片的特征浓缩；
[0031]
s5：对上述步骤获取的分类结果或浓缩结果进行归一化处理，并输出检测框，之后对检测框信息进行收集以生成对应检测框坐标，再对相关视频图像进行扩大化剪裁以获取
杂质图像，并通过rpn过滤掉各组杂质图像中属于背景的简单负样本，挑选出可能含有杂质的区域进行分类和回归；
[0032]
s6：在各组不同语义信息的杂质图像的每一个点上生成一组或多组锚框并对这些锚框进行分类和回归，再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测，并将检测结果反馈给工作人员进行查看。
[0033]
相比于现有技术，本发明的有益效果在于：
[0034]
该基于深度学习的林下经济作物生产线杂质检测的方法通过对采集到的视频图像进行分块处理，之后通过傅里叶正反变换对各视频图像中的高频成分进行分析提取，并对其进行低通滤波处理以获取特征影像,再筛除对于表征能力差的特征影像，之后对两组深度学习模型进行训练测试，并对满足期望值的深度学习模型进行准确率、检出率和误报率评估，并生成相对应的曲线走势图，杂质检测时，验证两组深度学习模型的检测精度，之后选取精度较高的深度学习模型来进行杂质特征检测，并对检测结果进行归一化处理以输出检测框，之后依据检测框坐标对相关视频图像进行扩大化剪裁以获取杂质图像，过滤掉各组杂质图像中属于背景的简单负样本，挑选出可能含有杂质的区域进行分类和回归，并再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测，能够选择合适的深度学习模型进行杂质分析，降低了使用局限性，为图像检测以及识别提供技术支撑，实时性更强、准确度更高，提高对图像分类精度，能够直观高效地展现杂质识别效果。
附图说明
[0035]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0036]
图1为本发明提出的一种基于深度学习的林下经济作物生产线杂质检测的方法的流程框图；
[0037]
图2为本发明提出的一种基于深度学习的林下经济作物生产线杂质检测的方法的算法流程图；
[0038]
图3为本发明提出的一种基于深度学习的林下经济作物生产线杂质检测的方法的标注示意图；
[0039]
图4为本发明提出的一种基于深度学习的林下经济作物生产线杂质检测的方法的识别效果对比图。
具体实施方式
[0040]
参照图1-4，一种基于深度学习的林下经济作物生产线杂质检测的方法，该检测方法具体步骤如下：
[0041]
采集生产线信息并进行图像处理。
[0042]
具体的，工作人员通过工业相机采集林下经济作物生产线的运输信息以获取相对应的视频数据，之后对采集到影像数据进行逐帧提取，依据提取出的视频图像的显示比例来确定分块数量，并对该视频图像进行分块处理，再将分块后的各组视频图像通过傅里叶正反变换进行图像空间转换至频率空间的相互变换，同时当视频图像转换至频率空间后，对各视频图像中的高频成分进行分析提取，并对其进行低通滤波处理，再各视频图像转换
至图像空间中，最后对处理完成的视频图像中各像素点r、g以及b三组分量数据进行采集，再依据采集到的三组分量对x、y以及z三组刺激值进行计算，以构建l
*a*b*
模型，并收集该视频图像l
*
、a
*
以及b
*
的平均值作为该视频图像的特征向量，并将其反馈给工作人员进行查看。
[0043]
需要进一步说明的是，工业相机具体型号为sng500-75um。
[0044]
标注杂质信息以训练深度学习模型。
[0045]
具体的，参考图3可知，工作人员通过图像标注工具labelme对各组视频图像中的杂质特征影像进行手工标注，之后精确称量杂质和作物重量，同时按照其在图片中所占的面积制作图片面积-重量数据集并进行线性回归分析以获取重量与图片面积的关系，再通过计算标注的杂质特征影像的方差系数对其进行特征降维处理，并筛除对于表征能力差的特征影像，之后将这些特征影像按照7:3的比例划分为训练集和测试集，再对训练集进行标准化处理，最后将训练样本输送到深度学习模型中，设置模型具体参数，采用长期迭代法训练该深度学习模型，并将测试集输入到训练好的模型中，若测试准确率满足期望值，则停止训练，反之继续上述步骤，最后，对满足期望值的深度学习模型进行准确率、检出率和误报率评估，并生成相对应的曲线走势图。
[0046]
需要进一步说明的是，深度学习模型具体包括u-net网络模型以及deeplabv3+模型。
[0047]
此外，本实施例中，方差系数具体计算公式如下：
[0048][0049]
式中，σ表示特征影像的标准差；μ表示特征影像的均值；cv表示特征影像的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，予以剔除；
[0050]
第二步中所述标准化处理具体计算公式如下：
[0051][0052]
其中，x表示提出的特征影像参数；mean(x)表示对所提特征影像参数进行平均处理；std(x)表示对特征影像参数的标准差。
[0053]
通过深度学习模型进行判断区分。
[0054]
具体的，如图2、4所示，从采集到的n组视频图像中选择一组作为验证数据，并通过该验证数据来验证两组深度学习模型的精度，并通过均方根误差对各组深度学习模型的检测能力进行计算，如此重复n次，再对比两组深度学习模型的精度，并选取精度较高的进行杂质检测，若u-net网络模型判断精度较高，则通过u-net网络模型提取视频图像中的主干特征信息，并通过卷积和最大池化堆叠以获取五个初步有效特征层，再对获取的特征层进行特征融合，之后加强提取得主干特征，并进行上采样和特征融合，并获得一个融合所有特征的有效特征层，再利用最终获得的最后一个有效特征层对每一个特征点进行分类，若deeplabv3+模型判断精度较高，则通过deeplabv3+模型控制编码器提取特征的分辨率，再用不同级别的萎缩性卷积核对压缩四次的初步有效特征层进行特征提取以及合并，并用1x1卷积压缩特征，之后解码时，利用1x1卷积调整初步有效特征层通道数，再将其与空洞卷积后的有效特征层的上采样结果进行堆叠，最后分离卷积块以获得整张图片的特征浓缩，
再对获取的分类结果或浓缩结果进行归一化处理，并输出检测框，之后对检测框信息进行收集以生成对应检测框坐标，再对相关视频图像进行扩大化剪裁以获取杂质图像，并通过rpn过滤掉各组杂质图像中属于背景的简单负样本，挑选出可能含有杂质的区域进行分类和回归，然后在各组不同语义信息的杂质图像的每一个点上生成一组或多组锚框并对这些锚框进行分类和回归，再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测，并将检测结果反馈给工作人员进行查看。
[0055]
构建检测平台并实时显示检测结果。
[0056]
需要进一步说明的是，工作人员采用python模块的pyside开发行图形界面，并且内置基于深度学习的u-net网络模型以及deeplabv3+模型，开发一套林下经济作物检测系统以实现作物运输体质量的动态检测。

技术特征：

1.一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，该检测方法具体步骤如下：(1)采集生产线信息并进行图像处理；(2)标注杂质信息以训练深度学习模型；(3)通过深度学习模型进行判断区分；(4)构建检测平台并实时显示检测结果。2.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(1)中所述图像处理具体步骤如下：步骤一：通过工业相机采集林下经济作物生产线的运输信息以获取相对应的视频数据，之后对采集到影像数据进行逐帧提取，依据提取出的视频图像的显示比例来确定分块数量，并对该视频图像进行分块处理；步骤二：将分块后的各组视频图像通过傅里叶正反变换进行图像空间转换至频率空间的相互变换，同时当视频图像转换至频率空间后，对各视频图像中的高频成分进行分析提取，并对其进行低通滤波处理，再各视频图像转换至图像空间中；步骤三：对处理完成的视频图像中各像素点r、g以及b三组分量数据进行采集，再依据采集到的三组分量对x、y以及z三组刺激值进行计算，以构建l
*
a
*
b
*
模型，并收集该视频图像l
*
、a
*
以及b
*
的平均值作为该视频图像的特征向量，并将其反馈给工作人员进行查看。3.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(2)中所述深度学习模型具体包括u-net网络模型以及deeplabv3+模型。4.根据权利要求2所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(2)中所述深度学习模型具体训练步骤如下：第一步：工作人员通过图像标注工具labelme对各组视频图像中的杂质特征影像进行手工标注，之后精确称量杂质和作物重量，同时按照其在图片中所占的面积制作图片面积-重量数据集并进行线性回归分析以获取重量与图片面积的关系；第二步：通过计算标注的杂质特征影像的方差系数对其进行特征降维处理，并筛除对于表征能力差的特征影像，之后将这些特征影像按照7:3的比例划分为训练集和测试集，再对训练集进行标准化处理；第三步：将训练样本输送到深度学习模型中，设置模型具体参数，采用长期迭代法训练该深度学习模型，并将测试集输入到训练好的模型中，若测试准确率满足期望值，则停止训练，反之继续上述步骤，最后，对满足期望值的深度学习模型进行准确率、检出率和误报率评估，并生成相对应的曲线走势图。5.根据权利要求4所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，第二步中所述方差系数具体计算公式如下：式中，σ表示特征影像的标准差；μ表示特征影像的均值；cv表示特征影像的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，予以剔除；第二步中所述标准化处理具体计算公式如下：
其中，x表示提出的特征影像参数；mean(x)表示对所提特征影像参数进行平均处理；std(x)表示对特征影像参数的标准差。6.根据权利要求3所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(3)中所述判断区分步骤如下：s1：从采集到的n组视频图像中选择一组作为验证数据，并通过该验证数据来验证两组深度学习模型的精度，并通过均方根误差对各组深度学习模型的检测能力进行计算，如此重复n次，再对比两组深度学习模型的精度，并选取精度较高的进行杂质检测；s2：若u-net网络模型判断精度较高，则通过u-net网络模型提取视频图像中的主干特征信息，并通过卷积和最大池化堆叠以获取五个初步有效特征层，再对获取的特征层进行特征融合；s3：之后加强提取得主干特征，并进行上采样和特征融合，并获得一个融合所有特征的有效特征层，再利用最终获得的最后一个有效特征层对每一个特征点进行分类；s4：若deeplabv3+模型判断精度较高，则通过deeplabv3+模型控制编码器提取特征的分辨率，再用不同级别的萎缩性卷积核对压缩四次的初步有效特征层进行特征提取以及合并，并用1x1卷积压缩特征，之后解码时，利用1x1卷积调整初步有效特征层通道数，再将其与空洞卷积后的有效特征层的上采样结果进行堆叠，最后分离卷积块以获得整张图片的特征浓缩；s5：对上述步骤获取的分类结果或浓缩结果进行归一化处理，并输出检测框，之后对检测框信息进行收集以生成对应检测框坐标，再对相关视频图像进行扩大化剪裁以获取杂质图像，并通过rpn过滤掉各组杂质图像中属于背景的简单负样本，挑选出可能含有杂质的区域进行分类和回归；s6：在各组不同语义信息的杂质图像的每一个点上生成一组或多组锚框并对这些锚框进行分类和回归，再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测，并将检测结果反馈给工作人员进行查看。

技术总结

本发明公开了一种基于深度学习的林下经济作物生产线杂质检测的方法，属于杂质检测领域，该检测方法具体步骤如下：(1)采集生产线信息并进行图像处理；(2)标注杂质信息以训练深度学习模型；(3)通过深度学习模型进行判断区分；(4)构建检测平台并实时显示检测结果；本发明能够选择合适的深度学习模型进行杂质分析，降低了使用局限性，为图像检测以及识别提供技术支撑，实时性更强、准确度更高，提高对图像分类精度，能够直观高效地展现杂质识别效果。能够直观高效地展现杂质识别效果。能够直观高效地展现杂质识别效果。