一种边沿检测方法、装置、电子设备及存储介质

1.本技术涉及深度学习和图像识别的技术领域，具体而言，涉及一种边沿检测方法、装置、电子设备及存储介质。

背景技术：

2.目前的机器使用红外探边传感器通常只能检测到材料(例如布料和塑料膜等)的外边沿(又被称为边沿)，这些机器例如：定型机、拉幅机、涂层机、裁床、铺布机和验布机等等。然而，在具体的实践过程中发现，不同材料的差异非常大，由于硫化布、薄纱、窗纱等材料的透光性较好，导致使用红外探边传感器检测出材料边沿的正确率较低。

技术实现要素：

3.本技术实施例的目的在于提供一种边沿检测方法、装置、电子设备及存储介质，用于改善检测出材料边沿的正确率较低的问题。
4.本技术实施例提供了一种边沿检测方法，包括：获取待处理图像，待处理图像包括目标材料的边沿的图像；使用神经网络模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的；将目标材料在待处理图像中的边沿端点坐标相互连接，获得目标材料的边沿线段。在上述方案的实现过程中，使用以多角度和/或多光源拍摄的边沿端点坐标为样本标签训练获得的神经网络模型，来对待处理图像中的目标材料边沿进行检测，并将获得的目标材料边的边沿端点坐标互连接，获得目标材料的边沿线段，避免了使用红外探边传感器难以检测出透光性较好的材料边沿的情况，有效地减少了不同材料的差异对检测结果的影响，从而提高了检测出材料边沿的正确率。
5.可选地，在本技术实施例中，神经网络模型包括：多个特征提取分支；使用神经网络模型对待处理图像中的目标材料的边沿进行检测，包括：从待处理图像中提取出多个通道图像；使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征；对多个通道图像特征进行特征融合，获得注意力融合特征；对注意力融合特征进行特征映射，获得边沿端点坐标。在上述方案的实现过程中，通过使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征，并对多个通道图像特征进行特征融合，有效地融合多通道图像之间的信息特征，这些多通道图像之间的信息特征包括更多的高层语义特征，从而提高了检测出材料边沿的正确率。
6.可选地，在本技术实施例中，在使用神经网络模型对待处理图像中的目标材料的边沿进行检测之前，还包括：获取多个样本图像和多个样本标签，样本图像是以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的，样本标签是标注出样本图像中的边沿端点坐标后获得的；以多个样本图像为训练数据，以多个样本标签为训练标签，对神经网络
进行训练，获得神经网络模型。在上述方案的实现过程中，通过使用以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的训练数据对神经网络进行训练，有效地减少了不同材料的差异对检测结果的影响，从而提高了检测出材料边沿的正确率。
7.可选地，在本技术实施例中，对神经网络进行训练，包括：使用神经网络对样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标；计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值；根据损失值对神经网络进行训练。在上述方案的实现过程中，通过计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值，并根据损失值对神经网络进行训练，有效地减少了不同材料的差异导致神经网络训练时间较长的影响，从而提高了检测出材料边沿的正确率。
8.可选地，在本技术实施例中，计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值，包括：计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离；根据角度空间距离计算出损失值。在上述方案的实现过程中，通过计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离，并根据角度空间距离计算出损失值，有效地减少了不同材料的差异导致神经网络训练时间较长的影响，从而提高了检测出材料边沿的正确率。
9.可选地，在本技术实施例中，在获得目标材料的边沿线段之后，还包括：判断目标材料的边沿线段与预设线段是否平行；若否，则调整目标材料的传送方向，以使目标材料的边沿线段与预设线段平行。在上述方案的实现过程中，通过调整目标材料的传送方向来纠正该目标材料在传送过程中偏离，避免造成卷边不整齐等问题，提高目标材料的加工制造质量。
10.可选地，在本技术实施例中，目标材料包括：布料和/或塑料膜。
11.本技术实施例还提供了一种边沿检测装置，包括：处理图像获取模块，用于获取待处理图像，待处理图像包括目标材料的边沿的图像；材料边沿检测模块，用于使用神经网络模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的；边沿线段获得模块，用于将目标材料在待处理图像中的边沿端点坐标相互连接，获得目标材料的边沿线段。
12.可选地，在本技术实施例中，神经网络模型包括：多个特征提取分支；材料边沿检测模块，包括：通道图像提取子模块，用于从待处理图像中提取出多个通道图像；图像特征获得子模块，用于使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征；融合特征获得子模块，用于对多个通道图像特征进行特征融合，获得注意力融合特征；端点坐标获得子模块，用于对注意力融合特征进行特征映射，获得边沿端点坐标。
13.可选地，在本技术实施例中，边沿检测装置，还包括：图像标签获取模块，用于获取多个样本图像和多个样本标签，样本图像是以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的，样本标签是标注出样本图像中的边沿端点坐标后获得的；网络模型获得模块，用于以多个样本图像为训练数据，以多个样本标签为训练标签，对神经网络进行训练，获得神经网络模型。
14.可选地，在本技术实施例中，网络模型获得模块，包括：端点坐标预测子模块，用于
使用神经网络对样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标；损失值计算子模块，用于计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值；神经网络训练子模块，用于根据损失值对神经网络进行训练。
15.可选地，在本技术实施例中，损失值计算子模块，包括：空间距离计算单元，用于计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离；损失值计算单元，用于根据角度空间距离计算出损失值。
16.可选地，在本技术实施例中，边沿检测装置，还包括：线段平行判断模块，用于判断目标材料的边沿线段与预设线段是否平行；传送方向调整模块，用于若目标材料的边沿线段与预设线段不平行，则调整目标材料的传送方向，以使目标材料的边沿线段与预设线段平行。
17.本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
18.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术实施例中的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1示出的本技术实施例提供的边沿检测方法的流程示意图；
21.图2示出的本技术实施例提供的获取的待处理图像的示意图；
22.图3示出的本技术实施例提供的边沿端点坐标连接的示意图；
23.图4示出的本技术实施例提供的神经网络模型的结构示意图；
24.图5示出的本技术实施例提供的训练神经网络模型的流程示意图；
25.图6示出的本技术实施例提供的调整目标材料的传送方向的流程示意图；
26.图7示出的本技术实施例提供的边沿检测装置的结构示意图。
具体实施方式
27.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例中的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术实施例的详细描述并非旨在限制要求保护的本技术实施例的范围，而是仅仅表示本技术实施例中的选定实施例。基于本技术实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
28.需要说明的是，本技术实施例提供的边沿检测方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。服务器例如：x86服务器以及非
x86服务器，非x86服务器包括：大型机、小型机和unix服务器。
29.下面介绍该边沿检测方法适用的应用场景，这里的应用场景包括但不限于：在目标材料的各种工序中，需要使用传送带来传输目标材料，此时可以使用该边沿检测方法检测出该目标材料的外边沿，具体例如：硫化布、薄纱、窗纱等透光性较好的目标材料难以被红外探边传感器检测到外边沿，可以使用该边沿检测方法中的神经网络模型，由于该神经网络模型是以多角度和/或多光源拍摄的边沿端点坐标为样本标签训练获得的，因此该神经网络模型能够有效地减少不同材料的差异对检测结果的影响，从而提高了检测出材料边沿的正确率。当然在具体实践过程中，也可以根据上述边沿检测方法检测出来的外边沿(又被简称为边沿)来纠正该目标材料在传送过程中偏离，避免造成卷边不整齐等问题，提高目标材料的加工制造质量。
30.上述的目标材料包括但不限于：布料(例如硫化布、薄纱、窗纱等)、(不透明或半透明)玻璃材料和/或塑料膜等等，为了便于理解和说明，下面均以布料为例进行详细地说明，上述的各种工序包括但不限于：布料的染、烘干、整形、卷边和/或印制等等工序。当然，在具体的实践过程中，还可以使用该边沿检测方法来增强材料加工机器的功能，为这些材料加工机器增强边沿检测能力，此处的材料加工机器包括但不限于：定型机、拉幅机、涂层机、裁床、铺布机和验布机等等。
31.请参见图1示出的本技术实施例提供的边沿检测方法的流程示意图；本技术实施例提供了一种边沿检测方法，包括：
32.步骤s110：获取待处理图像，该待处理图像包括目标材料的边沿的图像。
33.请参见图2示出的本技术实施例提供的获取的待处理图像的示意图；待处理图像是指包括目标材料的边沿的图像，该图像可以是对目标材料进行拍摄后获得的图像，该待处理图像中可以包括边沿，也可以包括背景等等。本技术实施例中的目标材料包括但不限于：布料、(不透明或半透明)玻璃材料和/或塑料膜等等，具体可以根据具体情况设置。
34.上述步骤s110中的待处理图像的获取方式包括：第一种获取方式，使用摄像机、录像机或彩照相机等终端设备对目标材料进行拍摄，获得待处理图像；第二种获取方式，获取预先存储的待处理图像，具体例如：从文件系统、数据库或移动存储设备中获取待处理图像；第三种获取方式，使用浏览器等软件获取互联网上的待处理图像。
35.步骤s120：使用神经网络模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的。
36.神经网络模型，是指使用以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的网络模型。由于该神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的，因此，该神经网络模型能够识别出透光性较好的材料的边沿端点坐标。可以理解的是，多角度和/或多光源包括三种情况：第一种情况，多角度(即不同角度)拍摄的边沿样本图像；第二种情况，多光源(即不同光源)拍摄的边沿样本图像；第三种情况，多角度和多光源(即不同角度且不同光源)拍摄的边沿样本图像。
37.步骤s130：将目标材料在待处理图像中的边沿端点坐标相互连接，获得目标材料的边沿线段。
38.请参见图3示出的本技术实施例提供的边沿端点坐标连接的示意图；上述步骤s130的实施方式例如：上述的神经网络模型可以检测出目标材料在待处理图像中的两个边沿端点坐标，这两个边沿端点坐标包括：上面的第一边沿端点坐标和下面的第二边沿端点坐标。因此，可以将上面的第一边沿端点坐标和下面的第二边沿端点坐标相互连接，即可获得目标材料的边沿线段。
39.在上述的实现过程中，使用以多角度和/或多光源拍摄的边沿端点坐标为样本标签训练获得的神经网络模型，来对待处理图像中的目标材料边沿进行检测，并将获得的目标材料边的边沿端点坐标互连接，获得目标材料的边沿线段，避免了使用红外探边传感器难以检测出透光性较好的材料边沿的情况，有效地减少了不同材料的差异对检测结果的影响，从而提高了检测出材料边沿的正确率。
40.请参见图4示出的本技术实施例提供的神经网络模型的结构示意图；作为上述步骤s120的第一种可选实施方式，上述的神经网络模型可以包括：多个特征提取分支、注意力融合模块和特征映射模块；其中，多个特征提取分支、注意力融合模块和特征映射模块是依次连接的，上述的使用神经网络模型检测边沿的实施方式可以包括：
41.步骤s121：从待处理图像中提取出多个通道图像。
42.多个通道图像，是指待处理图像中提取出包括多个通道的图像，此处的多个通道有很多种，包括但不限于：阿尔法通道(alpha channel)、红(red)颜通道、绿(green)颜通道和蓝(blue)颜通道等等。
43.上述步骤s121的实施方式例如：使用计算机视觉(computer vision，cv)程序从待处理图像中提取出多个通道图像，可以使用的cv程序例如开源计算机视觉库(open source computer vision library，opencv)中的图像处理程序等等。
44.步骤s122：使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征。
45.可以理解的是，上述步骤s122中的多个特征提取分支可以是两个特征提取分支或者两个以上的特征提取分支，为了便于理解和说明，下面以两个特征提取分支为例进行说明。多个特征提取分支中的每个特征提取分支均可以是相同或者不同的网络结构，例如：多个特征提取分支中可以有两个相同结构的第一特征提取分支，也可以有两个不同结构的第一特征提取分支和第二特征提取分支；多个特征提取分支的具体数量也可以根据具体情况设置。
46.步骤s123：使用注意力融合模块对多个通道图像特征进行特征融合，获得注意力融合特征。
47.步骤s124：使用特征映射模块对注意力融合特征进行特征映射，获得边沿端点坐标。
48.在上述的实现过程中，通过使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征，并对多个通道图像特征进行特征融合，有效地融合多通道图像之间的信息特征，这些多层次地且多重融合这些信息特征，使得能够从这些信息特征提取出更多的高层语义特征，从而通过这些高层语义特征来区分目标材料的外边沿，有效地提高了检测出材料边沿的正确率。
49.参照图4，上述的多个通道图像特征可以包括第一通道图像特征和第二通道图像
特征，上述步骤s122的实施方式可以包括：
50.步骤s122a：使用第一特征提取分支对多个通道图像中的第一通道图像进行特征提取，获得第一通道图像特征。
51.可以理解的是，参照图4，第一特征提取分支可以包括：第一编码器、第一卷积层和特征融合层；第一编码器、第一卷积层和特征融合层可以是依次连接的，也可以是先依次连接第一编码器、第一卷积层和特征融合层，再将第一编码器和特征融合层连接。
52.上述步骤s122a的实施方式例如：使用第一编码器对多个通道图像中的第一通道图像进行特征编码，获得图像编码特征；使用第一卷积层对图像编码特征进行卷积处理，获得图像卷积特征；使用特征融合层对图像编码特征和图像卷积特征进行融合，获得第一通道图像特征。
53.步骤s122b：使用第二特征提取分支对多个通道图像进行特征提取，获得第二通道图像特征。
54.可以理解的是，参照图4，第二特征提取分支可以包括：多个输入支路(例如n个)和特征融合层(即图4中的c，是concate的简写，可以代表连接融合)，特征融合层用于将多个输入支路提取的交叉注意力特征进行(例如在通道维度上的拼接)融合，获得第二通道图像特征，此处的融合可以是在通道维度上的拼接融合，也可以是自动构建地多通道特征的相关特征融合，从而实现自动提取与目标任务强相关的高层语义特征。
55.上述步骤s122b的实施方式例如：使用多个输入支路中的每个输入支路对多个通道图像中的每个通道图像进行特征提取，获得多个通道特征，其中，一个输入分支对应一个通道图像。然后，使用特征融合层(即图4中的c)对多个通道特征进行融合，获得第二通道图像特征。上述的多个输入支路中的每个输入支路均可以包括：编码器、卷积层1、卷积层2和交叉注意力层；每个输入支路的编码器均是和本身的输入支路的卷积层2连接，且和其它输入支路的特征融合层(即图4中的c)连接，每个输入支路中的特征融合层的作用是将本输入支路的卷积层2提取的卷积特征与其它输入支路的通道图像进行图像融合，获得图像融合特征，每个输入支路中的卷积层1的作用是将图像融合特征进行卷积处理，获得卷积融合特征。卷积层1和卷积层2分别与交叉注意力层连接，交叉注意力层的作用是将卷积层1输出的卷积融合特征和卷积层2输出的卷积特征进行交叉注意力(cross-attention)处理，获得上述的通道特征。
56.上述步骤s123的实施方式例如：上述的注意力融合模块可以包括多个多头(multi-head)注意力神经网络和特征融合层，为了便于理解和说明，此处以注意力融合模块可以包括两个多头注意力神经网络为例进行说明，那么使用注意力融合模块中的第一多头注意力神经网络对上述的第一通道图像特征和第二通道图像特征进行注意力融合，获得第一注意力融合特征，并使用注意力融合模块中的第二多头注意力神经网络对上述的第一通道图像特征和第二通道图像特征进行注意力融合，获得第二注意力融合特征；最后，使用注意力融合模块中的特征融合层对第一注意力融合特征和第二注意力融合特征进行特征融合，获得上述的注意力融合特征。
57.上述步骤s124的实施方式例如：上述的特征映射模块可以包括：前馈神经网络(feedforward neural network，fnn)层和特征映射器；其中，前馈神经网络层和特征映射器是依次连接的。可以使用前馈神经网络层对上述的注意力融合特征进行前馈处理，获得
前馈融合特征，并使用特征映射器对前馈融合特征进行端点坐标特征映射，获得边沿端点坐标。
58.作为上述步骤s120的第二种可选实施方式，上述的神经网络模型可以采用卷积神经网络(convolutional neural networks，cnn)检测边沿，使用cnn模型检测边沿的实施方式例如：使用训练后的lenet网络模型、alexnet网络模型、vgg网络模型、googlenet网络模型和resnet网络模型等cnn模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，该cnn模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的。
59.作为上述步骤s120的第三种可选实施方式，述的神经网络模型可以采用循环神经网络(recurrent neural network，rnn)检测边沿，使用rnn模型检测边沿的实施方式例如：使用长短期记忆(long short-term memory，lstm)网络和双向长短记忆(bidirectional long short-term memor，bi-lstm)网络等rnn模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，该rnn模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的。
60.请参见图5示出的本技术实施例提供的训练神经网络模型的流程示意图；作为上述边沿检测方法的一种可选实施方式，在使用神经网络模型检测边沿之前或者之后，还可以训练神经网络模型，该实施方式可以包括：
61.步骤s210：获取多个样本图像和多个样本标签，样本图像是以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的，样本标签是标注出样本图像中的边沿端点坐标后获得的。
62.上述步骤s210中的样本图像的获取方式，包括但不限于：第一种获取方式，使用摄像机、录像机或彩照相机等图像采集设备以多角度和/或多光源的方式对样本材料进行拍摄，获取样本图像；此处的样本材料可以是布料、玻璃材料和/或塑料膜等等。然后该图像采集设备向电子设备发送样本图像，然后电子设备接收图像采集设备发送的样本图像，电子设备可以将样本图像存储至文件系统、数据库或移动存储设备中；第二种获取方式，获取预先存储的样本图像，具体例如：从文件系统、数据库或移动存储设备中获取样本图像；第三种获取方式，使用浏览器等软件获取互联网上的样本图像，或者使用其它应用程序访问互联网获取样本图像。
63.上述步骤s210中的样本标签的获取方式包括，但不限于：第一种获取方式，通过人工标注的方式对样本图像中的边沿端点坐标进行标注，获得样本标签。第二种获取方式，通过神经网络模型学习训练已经标注的样本标签，获得训练后的神经网络模型，然后使用训练后的神经网络模型对样本图像中的边沿端点坐标进行标注，获得样本标签。第三种获取方式，直接获取预先存储的样本标签，从文件系统、数据库或移动存储设备中获取已经标注的样本标签等等。可以理解的是，上述的样本图像和样本标签可以是对应的，即一个样本图像对应一个样本标签。
64.上述的数据库包括但不限于：关系型数据库和非关系型数据库；其中，可以使用的关系型数据库例如：mysql、postgresql、oracle和sqlsever等，可以使用的非关系型数据库包括：grakn数据库、neo4j图数据库、hadoop子系统hbase、mongodb和couchdb等。
65.步骤s220：以多个样本图像为训练数据，以多个样本标签为训练标签，对神经网络
进行训练，获得神经网络模型。
66.上述步骤s220的实施方式有很多种，包括但不限于如下几种：
67.作为上述步骤s220的一种可选实施方式，对神经网络进行训练的实施方式可以包括：
68.步骤s221：使用神经网络对样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标。
69.上述步骤s221的实施方式例如：获取未经训练的神经网络(例如该神经网络的网络结构可以如图4所示，也可以是cnn或rnn)，并使用该未经训练的神经网络对样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标。
70.步骤s222：计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值。
71.步骤s223：根据损失值对神经网络进行训练。
72.上述步骤s223的实施方式例如：根据损失值更新神经网络的网络权重参数，直到神经网络的正确率不再升高或者迭代次数(epoch)数量大于预设阈值时，即可获得训练后的神经网络模型。其中，上述的预设阈值也可以根据具体情况进行设置，例如设置为100或者1000等等。
73.作为上述步骤s222的第一种可选实施方式，可以根据角度空间距离计算出损失值，该实施方式可以包括：
74.步骤s222a：使用arcface损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离，并根据角度空间距离计算出损失值。
75.上述步骤s222a的实施方式例如：使用arcface损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离，并根据角度空间距离计算出神经网络预测的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值；其中，上述的arcface损失函数使用公式表示为：
[0076][0077]
其中，l
arcface
表示arcface损失函数计算出来的损失值，n为神经网络的输出向量的长度；则代表神经网络的输出向量与第i列的参数权重向量之间的角度空间距离(即向量夹角距离)；而s和m分别是调节该arcface损失函数大小的超参数，在减小了正样本(即包含目标线缝的样本图像)损失值的同时，也增大了负样本(即不包含目标线缝的样本图像)的损失值。
[0078]
作为上述步骤s222的第二种可选实施方式，可以使用softmax损失函数来计算损失值，该损失值的计算过程可以包括：
[0079]
步骤s222b：使用softmax损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值。
[0080]
上述步骤s222b的实施方式例如：使用softmax损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值；其中，上述的softmax损失函数使用公式
表示为：其中，l
softmax
表示softmax损失值，j表示样本特征向量或者样本标签中的第几个，t表示神经网络中的分类网络的输出向量的长度，yj表示样本标签在输出向量的第j个位置上的值，sj表示输出向量在j位置上的数值。
[0081]
作为上述步骤s222的第三种可选实施方式，可以使用focal损失函数来计算损失值，该损失值的计算过程可以包括：
[0082]
步骤s222c：使用focal损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值。
[0083]
上述步骤s222c的实施方式例如：使用focal损失函数计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值；其中，上述的focal损失函数使用公式表示为：
[0084][0085]
其中，l
fl
表示focal损失值，y^为使用神经网络中的分类网络预测出的样本标签；y为获得的样本标签(即样本特征向量的真实标签)；α、β都是两个超参数，α用于调节正负样本的权重，而β则用于使困难样本产生的损失变大的同时，也使得简单样本的损失变小。
[0086]
请参见图6示出的本技术实施例提供的调整目标材料的传送方向的流程示意图；作为上述边沿检测方法的一种可选实施方式，在获得目标材料的边沿线段之后，还可以调整目标材料的传送方向，该实施方式可以包括：
[0087]
步骤s310：判断目标材料的边沿线段与预设线段是否平行。
[0088]
上述步骤s310的实施方式例如：使用预设编程语言编译或者解释的可执行程序判断目标材料的边沿线段与预设线段是否平行，其中，可以使用的编程语言例如：c、c++、java、basic、javascript、lisp、shell、perl、ruby、python和php等等。
[0089]
步骤s320：若目标材料的边沿线段与预设线段不平行，则调整目标材料的传送方向，以使目标材料的边沿线段与预设线段平行。
[0090]
上述步骤s320的实施方式例如：使用可执行程序确定目标材料的边沿线段与预设线段不平行，也就是说，若目标材料的边沿线段与预设线段不平行，则使用可执行程序调整目标材料(在传送带上)的传送方向，以使得目标材料的边沿线段与预设线段尽量平行，避免了目标材料在传送带上发生偏离导致卷边不整齐等问题，从而提高了目标材料的加工制造质量。
[0091]
在上述方案的实现过程中，通过调整目标材料的传送方向来纠正该目标材料在传送过程中偏离，避免造成卷边不整齐等问题，提高目标材料的加工制造质量。作为上述边沿检测方法的一种可选实施方式，上述的目标材料还可以包括：布料和/或塑料膜。
[0092]
请参见图7示出的本技术实施例提供的边沿检测装置的结构示意图。本技术实施例提供了一种边沿检测装置400，包括：
[0093]
处理图像获取模块410，用于获取待处理图像，待处理图像包括目标材料的边沿的图像。
[0094]
材料边沿检测模块420，用于使用神经网络模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，神经网络模型是以多角度和/
或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的。
[0095]
边沿线段获得模块430，用于将目标材料在待处理图像中的边沿端点坐标相互连接，获得目标材料的边沿线段。
[0096]
可选地，在本技术实施例中，神经网络模型包括：多个特征提取分支；材料边沿检测模块，包括：
[0097]
通道图像提取子模块，用于从待处理图像中提取出多个通道图像。
[0098]
图像特征获得子模块，用于使用多个特征提取分支中的每个特征提取分支对多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征。
[0099]
融合特征获得子模块，用于对多个通道图像特征进行特征融合，获得注意力融合特征。
[0100]
端点坐标获得子模块，用于对注意力融合特征进行特征映射，获得边沿端点坐标。
[0101]
可选地，在本技术实施例中，边沿检测装置，还包括：
[0102]
图像标签获取模块，用于获取多个样本图像和多个样本标签，样本图像是以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的，样本标签是标注出样本图像中的边沿端点坐标后获得的。
[0103]
网络模型获得模块，用于以多个样本图像为训练数据，以多个样本标签为训练标签，对神经网络进行训练，获得神经网络模型。
[0104]
可选地，在本技术实施例中，网络模型获得模块，包括：
[0105]
端点坐标预测子模块，用于使用神经网络对样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标。
[0106]
损失值计算子模块，用于计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的损失值。
[0107]
神经网络训练子模块，用于根据损失值对神经网络进行训练。
[0108]
可选地，在本技术实施例中，损失值计算子模块，包括：
[0109]
空间距离计算单元，用于计算出预测出的边沿端点坐标与样本标签中的边沿端点坐标之间的角度空间距离。
[0110]
损失值计算单元，用于根据角度空间距离计算出损失值。
[0111]
可选地，在本技术实施例中，边沿检测装置，还包括：
[0112]
线段平行判断模块，用于判断目标材料的边沿线段与预设线段是否平行。
[0113]
传送方向调整模块，用于若目标材料的边沿线段与预设线段不平行，则调整目标材料的传送方向，以使目标材料的边沿线段与预设线段平行。
[0114]
可选地，在本技术实施例中，目标材料包括：布料和/或塑料膜。
[0115]
应理解的是，该装置与上述的边沿检测方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，os)中的软件功能模块。
[0116]
本技术实施例提供的一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上的方法。
[0117]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。
[0118]
其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程只读存储器(programmable read-only memory,简称prom)，只读存储器(read-only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
[0119]
以上的描述，仅为本技术实施例的可选实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。

技术特征：

1.一种边沿检测方法，其特征在于，包括：获取待处理图像，所述待处理图像包括目标材料的边沿的图像；使用神经网络模型对所述待处理图像中的目标材料的边沿进行检测，获得所述目标材料在所述待处理图像中的边沿端点坐标，所述神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的；将所述目标材料在所述待处理图像中的边沿端点坐标相互连接，获得所述目标材料的边沿线段。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：多个特征提取分支；所述使用神经网络模型对所述待处理图像中的目标材料的边沿进行检测，包括：从所述待处理图像中提取出多个通道图像；使用所述多个特征提取分支中的每个特征提取分支对所述多个通道图像中的每个通道图像进行特征提取，获得多个通道图像特征；对所述多个通道图像特征进行特征融合，获得注意力融合特征；对所述注意力融合特征进行特征映射，获得所述边沿端点坐标。3.根据权利要求1所述的方法，其特征在于，在所述使用神经网络模型对所述待处理图像中的目标材料的边沿进行检测之前，还包括：获取多个样本图像和多个样本标签，所述样本图像是以多角度和/或多光源的方式对样本材料的边沿进行拍摄获得的，所述样本标签是标注出所述样本图像中的边沿端点坐标后获得的；以所述多个样本图像为训练数据，以所述多个样本标签为训练标签，对神经网络进行训练，获得所述神经网络模型。4.根据权利要求3所述的方法，其特征在于，所述对神经网络进行训练，包括：使用所述神经网络对所述样本图像中的边沿端点进行预测，获得预测出的边沿端点坐标；计算出所述预测出的边沿端点坐标与所述样本标签中的边沿端点坐标之间的损失值；根据所述损失值对所述神经网络进行训练。5.根据权利要求4所述的方法，其特征在于，所述计算出所述预测出的边沿端点坐标与所述样本标签中的边沿端点坐标之间的损失值，包括：计算出所述预测出的边沿端点坐标与所述样本标签中的边沿端点坐标之间的角度空间距离；根据所述角度空间距离计算出所述损失值。6.根据权利要求1-5任一所述的方法，其特征在于，在所述获得所述目标材料的边沿线段之后，还包括：判断所述目标材料的边沿线段与预设线段是否平行；若否，则调整所述目标材料的传送方向，以使所述目标材料的边沿线段与预设线段平行。7.根据权利要求1-5任一所述的方法，其特征在于，所述目标材料包括：布料和/或塑料膜。8.一种边沿检测装置，其特征在于，包括：
处理图像获取模块，用于获取待处理图像，所述待处理图像包括目标材料的边沿的图像；材料边沿检测模块，用于使用神经网络模型对所述待处理图像中的目标材料的边沿进行检测，获得所述目标材料在所述待处理图像中的边沿端点坐标，所述神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的；边沿线段获得模块，用于将所述目标材料在所述待处理图像中的边沿端点坐标相互连接，获得所述目标材料的边沿线段。9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。

技术总结

本申请提供一种边沿检测方法、装置、电子设备及存储介质，该方法包括：获取待处理图像，待处理图像包括目标材料的边沿的图像；使用神经网络模型对待处理图像中的目标材料的边沿进行检测，获得目标材料在待处理图像中的边沿端点坐标，神经网络模型是以多角度和/或多光源拍摄的边沿样本图像为训练数据，并以标注的边沿端点坐标为样本标签训练获得的；将目标材料在待处理图像中的边沿端点坐标相互连接，获得目标材料的边沿线段。通过以多角度和/或多光源拍摄的边沿端点坐标训练的神经网络模型来检测目标材料的边沿，有效地减少了不同材料的差异对检测结果的影响，从而提高了检测出材料边沿的正确率。料边沿的正确率。料边沿的正确率。