一种基于深度学习的服装图像解析方法

1.本发明涉及服装图像分割领域，并且更具体地，涉及一种基于深度学习的服装图像解析方法。

背景技术：

2.时尚产业快速发展，服装视觉分析成为了服装图像的研究热点。服装图像分割在服装视觉分析领域显得尤为重要。应用服装图像分割的领域较为广泛，如：服装检索、服装推荐、虚拟试衣等领域。传统的服装分割技术用边界、区域、阈值等技术手段对服装图像进行分割，这些技术仅仅适宜对背景较为简单的服装图像进行处理，而对于背景稍微复杂的图像，分割效果表现一般。早期出现的服装图像分割技术甚至要求服装图像中必须出现人体，这种分割技术是根据人体相关部位检测实现的。对如今的服装图像分割领域而言，早期出现的技术已经无法满足当今的服装分割任务的需求。
3.由于在产业中的巨大潜力，服装图像分析成为了活跃的研究课题，随着互联网的普及和网络购物的崛起，服装已经成为最畅销的产品。现在，消费者不仅仅关注服装图案、版型等服装本身的特点，对于服装的试穿效果越来越多的被消费者所关注，此外，对于服装设计师而言，他们也关注自己的产品会如何被消费者搭配和使用，将各种服装图像从复杂图片中分割出来成为了进行虚拟试衣以及服装三维展示的前提条件。随着计算机图像处理技术和深度学习的发展，对于图像的分割更加追求细粒度的分割，即对于细小轮廓、复杂边缘的分割，深度学习算法可以学习到图片中的服装特征信息，按照像素点为单位进行分类达到分割的效果，分割的精度远超传统的分割算法。
4.公开号为cn113870269a的中国专利公开了“一种图像分割方法、装置、电子设备及存储介质”，使用深度学习分割unet网络，其可以对边缘信息明显的图片进行分割且有较好的效果，但是对于像服装图片这种复杂场景下的图片而言，仅使用深度学习分割unet网络进行分割其分割精度是不够的。
5.公开号为cn113657480a的中国专利公开了“一种基于特征融合网络模型的服装解析方法”使用高层次特征与低层次特征融合，并结合解析损失函数和边缘损失函数的方式来感知语义边缘特征，这方式是有助于服装解析，但是高层次特征与低层次特征融合在网络训练过程中总是会丢失一部分重要特征信息的，特别是服装解析这种细粒度任务上。

技术实现要素：

6.针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于深度学习的服装解析方法，其目的在于通过深度学习算法有效解析的服装图片中的服装信息，提高对图像中服装信息分割的准确度。
7.为实验上述目的，按照本发明的一个方面，提供了一种基于深度学习的服装解析方法，包括以下步骤：步骤1：结合滤波信息设计适用于解析服装图像的基于深度学习的服装图像解析
模型；所述的基于深度学习的服装图像解析模型包括图像特征编码模块和服装特征解码模块，索虎图像特征编码模块中含有多个编码模块，服装特征解码模块包括多个上采样解码模块，每一个上采样解码模块都由卷积层和双线性上采样层组成；步骤2：训练设计好的服装图像解析模型；步骤3：使用训练好的服装图像解析模型来解析服装图片，生成像素级的预测图像。
8.进一步的，步骤1中的图像特征编码模块中含有16个编码模块，每一个编码模块都由卷积层和激活层构成，其中编码模块的具体操作是：先进行3
×
3卷积，卷积后面跟着一个激活层，再进行一个3
×
3卷积，卷积后面跟着一个激活层，最后进行1
×
1卷积，卷积后面跟着一个激活层。
9.进一步的，步骤1中的服装特征解码模块中含有4个上采样解码模块，上采样解码模块的具体操作是：先进行1
×
1卷积，卷积后面跟着一个激活层，再进行5
×
5卷积，卷积后面跟着一个激活层，最后通过双线性上采样层，对特征图进行特征还原，其中对于最后一个上采样解码模块，在最后的双线性上采样层后还加了两个卷积层，第一个卷积层为3
×
3卷积对特征图进行进一步的理解学习，然后使用第二个卷积层为1
×
1卷积输出最终预测特征图，其中通道数为最终的分类数。
10.进一步的，步骤2中服装图像解析模型的输入是原图像拼接上高频滤波处理器处理原图像后生成的高频图像，高频图像包含图像的边缘信息可以有效的提高图像分割精度，这里自定义的高频滤波处理器使用的核矩阵。
11.进一步的，步骤2中训练过程的使用的损失函数由两部分组成，第一部分是像素损失函数loss
pixel
公式如下：其中n
classes
为服装总类别数，i为当前类别索引，acci为该类别预测正确的个数与该类别总数的比值，初始赋值为0；(1-acci)为难分类权重使模型训练使更加关注分类准确率低的类别，y
true
为该类别的真实像素个数，y为预测正确的像素个数；第二部分是区域损失函数loss
region
公式如下：其中θ是区域超参数其值设置为1.95，为图像真实分割图，y
pred
为图像预测分割图，表示真实分割像素与预测分割像素交集的元素个数，表示真实分割图中的像素总数，|y
pred |表示预测分割图像中的像素总数；
训练中使用的损失函数，其中是自适应权重系数，初始值为0，随着训练轮数每10轮增加0.05，增加到1时权重系数不再变化。
12.进一步的，所述激活层使用的激活函数s公式如下：其中为服装总类别数，x表示特征图任意位置上的像素值，激活函数在保留输入值正负属性的同时将线性关系转化为非线性关系，可以有效缓解梯度消失现象，使模型训练效果更好。
13.进一步的，所述图像特征编码模块中编码模块的卷积层设置，当编码模块的序号是4的整数倍数时将最后一个1
×
1卷积替换为2
×
2卷积，且步长设置为2，用于调节特征图的高宽。
14.进一步的，所述4个上采样解码模块的输入的具体操作为：第16个编码模块的输出拼接上低频图像下采样16倍的输出是第1个上采样解码模块输入，第12个编码模块的输出拼接上低频图像下采样8倍的输出是第2个上采样解码模块的输入，第8个编码模块的输出拼接上低频图像下采样4倍的输出是第3个上采样解码模块的输入，第4个编码模块的输出拼接上低频图像下采样2倍的输出是第4个上采样解码模块的输入，低频图像是输入网络原图像经过低通滤波处理器得到的，低频图像包含图像的细节信息可以补充网络学习过程中丢失的细节信息，这里自定义的低频滤波处理器使用的核矩阵。
15.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：（1）首先通过加深网络的深度增强模型的学习能力，再通过结合滤波器信息提高模型识别的精确度。
16.（2）使用创新的损失函数和激活函数，使模型训练的更加关注难以分类的类别，同时训练效果更好，更加符合服装图像场景。
17.（3）通过将服装图像输入模型中生成标注图片大大节省了人工成本，对于后续虚拟试衣等技术提供高质量的标注图片，相比于现有的分割网络提高了7个百分点左右。
附图说明
18.图1 本发明实施例提供的一种基于深度学习的服装图像解析方法的技术方案流程图。
19.图2本发明实施例提供的一种基于深度学习的服装图像解析方法的服装解析模型网络结构图。
20.图3本发明实施例提供的一种基于深度学习的服装图像解析方法的编码模块示意图。
21.图4本发明实施例提供的一种基于深度学习的服装图像解析方法的上采样解码模块示意图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
23.本发明提供的一种基于深度学习的服装图像解析方法的实现方案，请参见附图1，图1是实施用例提供的一种基于深度学习的服装图像解析方法的技术方案流程图，具体包含如下步骤：（1）结合滤波信息设计适用于解析服装图像的基于深度学习的服装图像解析模型；其中，所述的基于深度学习的服装图像解析模型包括图像特征编码模块和服装特征解码模块，请参见图2，图2是实施例提供的一种基于深度学习的服装图像解析方法的服装解析模型网络结构图；其中，图像特征编码模块中含有16个编码模块，请参见图3，图3是实施例提供的一种基于深度学习的服装图像解析方法的编码模块示意图，每一个编码模块都由卷积层和激活层构成，其中编码模块的具体操作是：先进行3
×
3卷积，卷积后面跟着一个激活层，再进行一个3
×
3卷积，卷积后面跟着一个激活层，最后进行1
×
1卷积，卷积后面跟着一个激活层。
24.其中，服装特征解码模块中含有4个上采样解码模块，请参见图4，图4是实施例提供的一种基于深度学习的服装图像解析方法的上采样解码模块示意图，每一个上采样解码模块都由卷积层和双线性上采样层组成。上采样解码模块的具体操作是：先进行1
×
1卷积，卷积后面跟着一个激活层，再进行5
×
5卷积，卷积后面跟着一个激活层，最后通过双线性上采样层，对特征图进行特征还原。其中对于最后一个上采样解码模块，在最后的双线性上采样层后还加了两个卷积层，第一个卷积层为3
×
3卷积对特征图进行进一步的理解学习，然后使用第二个卷积层为1
×
1卷积输出最终预测特征图，其中通道数为最终的分类数。
25.其中，图像特征编码模块中编码模块的卷积层设置，当编码模块的序号是4的整数倍数时将最后一个1
×
1卷积替换为2
×
2卷积，且步长设置为2，用于调节特征图的高宽。
26.具体的，激活层使用的激活函数s公式如下：其中为服装总类别数，x表示特征图任意位置上的像素值，激活函数在保留输入值正负属性的同时将线性关系转化为非线性关系，可以有效缓解梯度消失现象，使模型训练效果更好。
27.具体的，4个上采样解码模块的输入的具体操作。其中第16个编码模块的输出拼接上低频图像下采样16倍的输出是第1个上采样解码模块输入，第12个编码模块的输出拼接
上低频图像下采样8倍的输出是第2个上采样解码模块的输入，第8个编码模块的输出拼接上低频图像下采样4倍的输出是第3个上采样解码模块的输入，第4个编码模块的输出拼接上低频图像下采样2倍的输出是第4个上采样解码模块的输入，低频图像是输入网络原图像经过低通滤波处理器得到的，低频图像包含图像的细节信息可以补充网络学习过程中丢失的细节信息，这里自定义的低频滤波处理器使用的核矩阵。
28.（2）训练设计好的服装图像解析模型；具体的，服装图像解析模型的输入是原图像拼接上高频滤波处理器处理原图像后生成的高频图像。高频图像包含图像的边缘信息可以有效的提高图像分割精度，这里自定义的高频滤波处理器使用的核矩阵。
29.具体的，训练过程的使用的损失函数由两部分组成，第一部分是像素损失函数loss
pixel
公式如下：其中n
classes
为服装总类别数，i为当前类别索引，acci为该类别预测正确的个数与该类别总数的比值，初始赋值为0。(1-acci)为难分类权重使模型训练使更加关注分类准确率低的类别，y
true
为该类别的真实像素个数，y为预测正确的像素个数。
30.第二部分是区域损失函数公式如下：其中θ是区域超参数其值设置为1.95，为图像真实分割图，y
pred
为图像预测分割图，表示真实分割像素与预测分割像素交集的元素个数，表示真实分割图中的像素总数，|y
pred |表示预测分割图像中的像素总数；训练中使用的损失函数，其中λ是自适应权重系数，初始值为0，随着训练轮数每轮增加0.05，增加到1时权重系数不再变化。
31.（3）使用训练好的服装图像解析模型来解析服装图片，生成像素级标注的图像。
32.具体的，使用训练好的服装图像解析模型来解析服装图片，生成高精度、高质量的标注图像，为下一步进行虚拟试衣、服装检索等提供稳定的技术支持。
33.本发明提供一种基于深度学习的服装图像解析方法，可以通过基于深度学习的服装图像解析模型来解析服装图像，获得像素级标注图像。具体应用是本团队与武汉微晶石科技股份有限公司合作，服装图像数据爬取自亚马逊、淘宝等购物网站，同时武汉微晶石科
技股份有限公司提供技术支持，并通过上述实施用例方法设计服装图像解析模型的网络配置并训练我们自己的模型得到的基于深度学习的服装图像解析模型，通过在现实情况下的验证中，我们的方法相对传统深度学习算法交并比提高了大约7个百分点，能够提供解析质量更高的像素级标注图像。
34.本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：

1.一种基于深度学习的服装图像解析方法，其特征在于，所述的基于深度学习的服装图像解析方法包括以下步骤：步骤1：结合滤波信息设计适用于解析服装图像的基于深度学习的服装图像解析模型；所述的基于深度学习的服装图像解析模型包括图像特征编码模块和服装特征解码模块，索虎图像特征编码模块中含有多个编码模块，服装特征解码模块包括多个上采样解码模块，每一个上采样解码模块都由卷积层和双线性上采样层组成；步骤2：训练设计好的服装图像解析模型；步骤3：使用训练好的服装图像解析模型来解析服装图片，生成像素级的预测图像。2.如权利要求1所述的一种基于深度学习的服装图像解析方法，其特征在于：步骤1中的图像特征编码模块中含有16个编码模块，每一个编码模块都由卷积层和激活层构成，其中编码模块的具体操作是：先进行3
×
3卷积，卷积后面跟着一个激活层，再进行一个3
×
3卷积，卷积后面跟着一个激活层，最后进行1
×
1卷积，卷积后面跟着一个激活层。3.如权利要求1所述的一种基于深度学习的服装图像解析方法，其特征在于：步骤1中的服装特征解码模块中含有4个上采样解码模块，上采样解码模块的具体操作是：先进行1
×
1卷积，卷积后面跟着一个激活层，再进行5
×
5卷积，卷积后面跟着一个激活层，最后通过双线性上采样层，对特征图进行特征还原，其中对于最后一个上采样解码模块，在最后的双线性上采样层后还加了两个卷积层，第一个卷积层为3
×
3卷积对特征图进行进一步的理解学习，然后使用第二个卷积层为1
×
1卷积输出最终预测特征图，其中通道数为最终的分类数。4.如权利要求1所述的一种基于深度学习的服装图像解析方法，其特征在于：步骤2中服装图像解析模型的输入是原图像拼接上高频滤波处理器处理原图像后生成的高频图像，高频图像包含图像的边缘信息可以有效的提高图像分割精度，这里自定义的高频滤波处理器使用的核矩阵。5.如权利要求1所述的一种基于深度学习的服装图像解析方法，其特征在于：步骤2中训练过程的使用的损失函数由两部分组成，第一部分是像素损失函数loss
pixel
公式如下：其中n
classes
为服装总类别数，i为当前类别索引，acc
i
为该类别预测正确的个数与该类别总数的比值，初始赋值为0；(1-acc
i
)为难分类权重使模型训练使更加关注分类准确率低的类别，y
true
为该类别的真实像素个数，y为预测正确的像素个数；第二部分是区域损失函数loss
region
公式如下：其中θ是区域超参数其值设置为1.95，为图像真实分割图，y
pred
为图像预测分割
图，表示真实分割像素与预测分割像素交集的元素个数，表示真实分割图中的像素总数，|y
pred |表示预测分割图像中的像素总数；训练中使用的损失函数，其中λ是自适应权重系数，初始值为0，随着训练轮数每10轮增加0.05，增加到1时权重系数不再变化。6.如权利要求2或3所述的一种基于深度学习的服装图像解析方法，其特征在于：所述激活层使用的激活函数s公式如下：其中为服装总类别数，x表示特征图任意位置上的像素值，激活函数在保留输入值正负属性的同时将线性关系转化为非线性关系，可以有效缓解梯度消失现象，使模型训练效果更好。7.如权利要求2所述的一种基于深度学习的服装图像解析方法，其特征在于：所述图像特征编码模块中编码模块的卷积层设置，当编码模块的序号是4的整数倍数时将最后一个1
×
1卷积替换为2
×
2卷积，且步长设置为2，用于调节特征图的高宽。8.如权利要求3所述的一种基于深度学习的服装图像解析方法，其特征在于：所述4个上采样解码模块的输入的具体操作为：第16个编码模块的输出拼接上低频图像下采样16倍的输出是第1个上采样解码模块输入，第12个编码模块的输出拼接上低频图像下采样8倍的输出是第2个上采样解码模块的输入，第8个编码模块的输出拼接上低频图像下采样4倍的输出是第3个上采样解码模块的输入，第4个编码模块的输出拼接上低频图像下采样2倍的输出是第4个上采样解码模块的输入，低频图像是输入网络原图像经过低通滤波处理器得到的，低频图像包含图像的细节信息可以补充网络学习过程中丢失的细节信息，这里自定义的低频滤波处理器使用的核矩阵。

技术总结

本发明公开了一种基于深度学习的服装图像解析方法，所述的服装图像解析方法包括以下步骤：首先设计适用于解析服装图像的模型网络结构配置，然后设计损失函数，确定训练过程中调节参数的策略，最后得到服装图像解析模型，模型可以将输入的服装图像，解析成像素级预测的图像。所述的服装图像解析模型包括图像特征编码模块和服装特征解码模块。本发明通过改进这些算法融合可以明显提高服装解析的准确率，提供了一种高效解析服装图像的方法，给后续服装图像分析提供了高质量的服装标注图像，大大节省了人力成本。节省了人力成本。节省了人力成本。