(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210138123.6
(22)申请日 2022.02.15
(71)申请人 南通大学
地址 226019 江苏省南通市崇川区啬园路9
号
(72)发明人 邵叶秦 曹秋阳 李登亮 宋锦伟
高瞻 施佺
(74)专利代理机构 南京瑞弘专利商标事务所
(普通合伙) 32249
专利代理师 许海洲
(51)Int.Cl.
G06V 10/40(2022.01)
G06V 10/762(2022.01)
G06V 10/82(2022.01)
G06K 9/62(2022.01)
G06T 3/40(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于注意力YOLOv5模型的自动水果识别方法(57)摘要本发明公开了一种基于注意力YOLOv5模型的自动水果识别方法，包括以下步骤：1、将数据集的原始图像进行预处理；2、输入主干网络提取特征，并使用SENet注意力模块得到一个与通道对应的一维向量作为评价分数；3、将评价分数通过乘法操作作用到feature map的对应通道上，得到用于水果识别的有效特征；4、经过Feature Py ra mid Ne tworks 和Pa th Agg rega tion Network结构将特征融合；5、对图像特征进行预测，使用CIOU考虑目标框与预测框的高宽比和中心点之间的关系，提升预测精度，根据大、中、小 目标分别输出识别结果。权利要求书2页 说明书6页 附图2页CN 114494710 A 2022.05.13
C N 114494710
A
1.一种基于注意力YOLOv5模型的自动水果识别方法，其特征在于，包括以下步骤：
步骤1、将数据集的原始图像进行预处理；
步骤2、输入主干网络提取特征，并使用SENet注意力模块得到一个与通道对应的一维向量作为评价分数；
步骤3、将评价分数通过乘法操作作用到feature map的对应通道上，得到用于水果识别的有效特征；
步骤4、经过特征金字塔和路径聚合网络结构将特征融合；
步骤5、对图像特征进行预测，使用CIOU考虑目标框与预测框的高宽比和中心点之间的关系，提升预测精度，根据大、中、小目标分别输出识别结果。
2.根据权利要求1所述的基于注意力YOLOv5模型的自动水果识别方法，其特征在于，所述步骤1中使用Mosaic数据增强的方式进行图像拼接。
3.根据权利要求2所述的基于注意力YOLOv5模型的自动水果识别方法，其特征在于，所述步骤1中对数据集的尺寸归一化处理，对原始图像进行自适应填充最少的灰度值，具体包括以下步骤：
步骤1.1、设置图像缩放比例；令原始图像为A×B，缩放至a×a，其中A为原始图像的宽，B为原始图像的高，a为缩放后图像的宽，缩放后图像宽和高相等，将缩放后图像的宽高除以原始图像相应宽高，得到2个系数，取其小的系数；
步骤1.2、设置缩放后的尺寸；将原始图片宽高乘以最小的系数，则宽为C，高为D；
步骤1.3、设置灰边的填充值；先将C减去D，并采用取余的方式得需要填充的像素值(C‑
D)％E＝F，其中E＝2n，n是网络经过的下采样次数，两端各个像素；在测试过程中采用灰
填充，训练过程使用原始的resize操作以提高物体的检测、计算速度。
4.根据权利要求1所述的基于注意力YOLOv5模型的自动水果识别方法，其特征在于，所述主干网络是CSPDarknet‑53，能增强卷积网络的学习能力，降低内存消耗。
5.根据权利要求1所述的基于注意力YOLOv5模型的自动水果识别方法，其特征在于，步骤2所述SENet注意力模块操作过程包括以下步骤：
步骤2.1、使用全局平均池化作为Squeeze操作；
步骤2.2、使用两个全连接层得到通道间的相关性，同时减少参数与计算量；
步骤2.3、通过Sigmoid归一化权重；
步骤2.4、通过Scale操作将归一化后的权重作用在原始通道的特征上。
6.根据权利要求1所述的基于注意力YOLOv5模型的自动水果识别方法，其特征在于，所述步骤5中CIOU将真实框与预测框之间的距离、重叠率、边框尺度以及惩罚因子均考虑进去，使得目标边框回归更加稳定；
CIOU公式：
其中，ρ2(b，b gt)即预测框与真实框中心点之间的欧式距离d，c表示同时包含真实框与预测框最小闭包矩形框的对角线距离。
惩罚项αv中α的公式如下所示：
惩罚项αv中v的公式如下所示:
其中，w gt表示真实框的宽，h gt表示真实框的高，w表示预测框的宽，h表示预测框的高；
CIOU在回归时loss的计算公式如下所示：
目标框与预测框重合时，CIOU值不相同；c值相同时，通过目标框与预测框中心点的欧式距离与对角线的比值d，度量两者位置关系，使损失函数收敛。
一种基于注意力YOLOv5模型的自动水果识别方法
技术领域
[0001]本发明属于水果识别领域，尤其涉及一种基于注意力YOLOv5模型的自动水果识别方法。
背景技术
[0002]在日常生活中，超市及菜市场需要人工进行称重计价，这样不仅操作耗时、计价流程过长，而且会降低顾客的购买效率。因此超市以及菜市场将水果称重相结合，自动计算水果的价格，提高顾客购买的效率是非常有必要的。
[0003]目前主流方法主要存在如下问题：1、模型倾向于对象的全局信息，容易忽略某些关键及重要的水果局部信息；2、目标框与预测框重合时未考虑它们之间的相互关系，容易导致预测结果不精确问题。
发明内容
[0004]本发明目的在于提供一种基于注意力YOLOv5模型的自动水果识别方法，以解决现有模型倾向于对象的全局信息，容易忽略某些关键及重要的水果局部信息和现有目标框与预测框重合时未考虑它们之间的相互关系，容易导致预测结果不精确问题的技术问题。[0005]为解决上述技术问题，本发明的具体技术方案如下：
[0006]一种基于注意力YOLOv5模型的自动水果识别方法，包括以下步骤：
[0007]步骤1、将数据集的原始图像进行预处理；
[0008]步骤2、输入主干网络提取特征，并使用SENet注意力模块得到一个与通道对应的一维向量作为评价分数；
[0009]步骤3、将评价分数通过乘法操作作用到feature map的对应通道上，得到用于水果识别的有效特征；
[0010]步骤4、经过路径聚合网络Feature Pyramid Networks和路径聚合网络Path Aggregation Network结构将特征融合；
[0011]步骤5、对图像特征进行预测，使用CIOU考虑目标框与预测框的高宽比和中心点之间的关系，提升预测精度，根据大、中、小目标分别输出识别结果。
[0012]进一步的，所述步骤1中使用Mosaic数据增强的方式进行图像拼接。
[0013]进一步的，所述步骤1中对数据集的尺寸归一化处理，对原始图像进行自适应填充最少的灰度值，具体包括以下步骤：
[0014]步骤1.1、设置图像缩放比例；令原始图像为A×B，缩放至a×a，其中A为原始图像的宽，B为原始图像的高，a为缩放后图像的宽，缩放后图像宽和高相等，将缩放后图像的宽高除以原始图像相应宽高，得到2个系数，取其小的系数；
[0015]步骤1.2、设置缩放后的尺寸；将原始图片宽高乘以最小的系数，则宽为C，高为D；[0016]步骤1.3、设置灰边的填充值；先将C减去D，并采用取余的方式得需要填充的像素
值(C‑D)％E＝F，其中E＝2n，n是网络经过的下采样次数，两端各个像素；在测试过程中采
用灰填充，训练过程使用原始的resize操作以提高物体的检测、计算速度。
[0017]进一步的，所述主干网络是CSPDarknet‑53，能增强卷积网络的学习能力，降低内存消耗。
[0018]进一步的，所述SENet注意力模块的操作过程包括以下步骤：
[0019]步骤2.1、使用全局平均池化作为Squeeze操作；
[0020]步骤2.2、使用两个全连接层得到通道间的相关性，同时减少参数与计算量；[0021]步骤2.3、通过Sigmoid归一化权重；
[0022]步骤2.4、通过Scale操作将归一化后的权重作用在原始通道的特征上。[0023]进一步的，所述步骤5中CIOU将真实框与预测框之间的距离、重叠率、边框尺度以及惩罚因子均考虑进去，使得目标边框回归更加稳定；
[0024]CIOU公式：
[0025]
[0026]其中，ρ2(b，b gt)即预测框与真实框中心点之间的欧式距离d，c表示同时包含真实框与预测框最小闭包矩形框的对角线距离。
[0027]式(2)为惩罚项αv中α的公式：
[0028]
[0029]式(3)为惩罚项αv中v的公式:
[0030]
[0031]其中，w gt表示真实框的宽，h gt表示真实框的高，w表示预测框的宽，h表示预测框的高。
[0032]式(4)为CIOU在回归时loss的计算公式：
[0033]
[0034]目标框与预测框重合时，CIOU值不相同；c值相同时，通过目标框与预测框中心点的欧式距离与对角线的比值d，度量两者位置关系，使损失函数能收敛。
[0035]本发明的一种基于注意力YOLOv5模型的自动水果识别方法，具有以下优点：[0036]1、本发明在主干网络后增加注意力机制，增加水果的重要特征，减弱不重要的特征，提升水果识别准确率。
[0037]2、本发明使用CIOU边框回归损失函数，将目标框与测试框的宽高比和中心点之间的关系考虑进去，使得水果预测框更加贴近真实框。
附图说明
[0038]图1为本发明的基于注意力YOLOv5模型的自动水果识别方法流程图；
[0039]图2为本发明的CSP1_X结构示意图；
[0040]图3为本发明的CSP2_X结构示意图；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议