(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011116383.0
(22)申请日 2020.10.19
(71)申请人 武汉纺织大学
地址 430200 湖北省武汉市洪山区纺织路1
号
(72)发明人 彭涛 常源 刘军平 胡新荣
何儒汉 张俊杰 张自力 姜明华
(74)专利代理机构 上海硕力知识产权代理事务
所(普通合伙) 31251
代理人 童素珠
(51)Int.Cl.
G06Q 30/06(2012.01)
G06N 3/04(2006.01)
G06T 5/50(2006.01)
G06K 9/34(2006.01)
(54)发明名称
(57)摘要
本发明提供了一种基于2D图像的虚拟试衣
图像；根据由参考人图像中提取的粗糙身体形状
图；根据参考人表示图对目标衣服图像的像素进
像的特征进行扭曲得到第二扭曲衣服图像和预
测扭曲衣服合成掩码；基于扭曲衣服合成掩码对
第一扭曲衣服图像和第二扭曲衣服图像进行合
成得到最终扭曲衣服图像；分别提取参考人表示
图和最终扭曲衣服图像的特征得到初步试穿合
成图像及预测试穿图像合成掩码；根据试穿图像
合成掩码合成初步试穿合成图像和最终扭曲衣
服图像得到最终的试穿合成图像，完成试衣，大
大提升了试衣效果的真实性。权利要求书2页 说明书9页 附图4页CN 112258269 A 2021.01.22
C N 112258269
A
1.一种基于2D图像的虚拟试衣方法，其特征在于，包括：
获取参考人图像和目标衣服图像；
根据由所述参考人图像中提取的粗糙身体形状图、姿势图及非试穿区域细节图合成参考人表示图；
根据所述参考人表示图对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像，及对所述目标衣服图像的特征进行扭曲得到第二扭曲衣服图像和预测扭曲衣服合成掩码；
基于所述扭曲衣服合成掩码对第一扭曲衣服图像和第二扭曲衣服图像进行合成得到最终扭曲衣服图像；
分别提取所述参考人表示图和最终扭曲衣服图像的特征得到初步试穿合成图像及预测试穿图像合成掩码；
根据所述试穿图像合成掩码合成初步试穿合成图像和最终扭曲衣服图像得到最终的试穿合成图像，完成基于2D图像的虚拟试衣。
2.如权利要求1所述的虚拟试衣方法，其特征在于，所述根据由所述参考人图像中提取的粗糙身体形状图、姿势图及非试穿区域细节图合成参考人表示图包括：从所述参考人图像中提取人体部位语义分割图和姿势图；
根据所述人体部位语义分割图于所述参考人图像中得到粗糙身体形状图和非试穿区域细节图；
根据所述粗糙身体形状图、姿势图及非试穿区域细节图合成得到所述参考人表示图。
3.如权利要求1或2所述的虚拟试衣方法，其特征在于，所述根据所述参考人表示图对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像包括：
将所述参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征，所述两个孪生卷积神经网络结构相同；
将所述参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数；
根据所述空间变换参数对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像。
4.如权利要求3所述的虚拟试衣方法，其特征在于，所述对所述目标衣服图像的特征进行扭曲得到第二扭曲衣服图像和预测扭曲衣服合成掩码包括：
将所述目标衣服图像传入卷积神经网络提取特征；
根据所述空间变换参数对提取的目标衣服图像的特征进行扭曲；
将扭曲的特征传入与所述卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的第二扭曲衣服图像和预测扭曲衣服合成掩码。
5.如权利要求1或2或4所述的虚拟试衣方法，其特征在于，所述分别提取所述参考人表示图和最终扭曲衣服图像的特征得到初步试穿合成图像及预测试穿图像合成掩码包括：将所述参考人表示图和最终扭曲衣服图分别传入两个非共享参数的孪生卷积神经网络提取特征，所述两个孪生卷积神经网络结构相同；
将所述参考人表示图和最终扭曲衣服图的特征传入与所述孪生卷积神经网络结构对应的反卷积神经网络得到得到初步试穿合成图像及预测试穿图像合成掩码；所述两个非共享参数的孪生卷积神经网络的最后一层输出作为对应反卷积神经网络的输入，且两个非共享参数的孪生卷积神经网络其它层的输出通过跨过连接的方式与对应反卷积神经网络相应层连接。
6.一种基于2D图像的虚拟试衣装置，其特征在于，包括：
图像获取模块，用于获取参考人图像和目标衣服图像；
参考人表示图生成模块，用于根据由所述参考人图像中提取的粗糙身体形状图、姿势图及非试穿区域细节图合成参考人表示图；
扭曲衣服图像生成模块，用于根据所述参考人表示图对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像、对所述目标衣服图像的特征进行扭曲得到第二扭曲衣服图像和预测扭曲衣服合成掩码、及基于所述扭曲衣服合成掩码对第一扭曲衣服图像和第二扭曲衣服图像进行合成得到最终扭曲衣服图像；
试穿合成图像生成模块，用于分别提取所述参考人表示图和最终扭曲衣服图像的特征得到初步试穿合成图像及预测试穿图像合成掩码，并根据所述试穿图像合成掩码合成初步试穿合成图像和最终扭曲衣服图像得到最终的试穿合成图像，完成基于2D图像的虚拟试衣。
7.如权利要求6所述的虚拟试衣装置，其特征在于，所述扭曲衣服图像生成模块中包括：
第一编码单元，用于将所述参考人表示图和目标衣服图像分别传入两个非共享参数的孪生卷积神经网络提取特征，所述两个孪生卷积神经网络结构相同；及将所述目标衣服图像传入卷积神经网络提取特征；
空间变换参数预测单元，用于将所述参考人表示图和目标衣服图像的特征传入回归网络预测空间变换参数；
变形单元，用于根据所述空间变换参数对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像及根据所述空间变换参数对提取的目标衣服图像的特征进行扭曲；
第一解码单元，用于将扭曲的特征传入与所述卷积神经网络结构对应的反卷积神经网络得到经过特征扭曲的第二扭曲衣服图像和预测扭曲衣服合成掩码。
8.如权利要求6或7所述的虚拟试衣装置，其特征在于，所述试穿合成图像生成模块中包括：
第二编码单元，用于将所述参考人表示图和最终扭曲衣服图分别传入两个非共享参数的孪生卷积神经网络提取特征，所述两个孪生卷积神经网络结构相同；
第二解码单元，用于将所述参考人表示图和最终扭曲衣服图的特征传入与所述孪生卷积神经网络结构对应的反卷积神经网络得到得到初步试穿合成图像及预测试穿图像合成掩码；所述两个非共享参数的孪生卷积神经网络的最后一层输出作为对应反卷积神经网络的输入，且两个非共享参数的孪生卷积神经网络其它层的输出通过跨过连接的方式与对应反卷积神经网络相应层连接。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，
其特征在于，所述处理器运行所述计算机程序时实现如权利要求1-5中任一项所述基于2D图像的虚拟试衣方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述基于2D图像的虚拟试衣方法的步骤。
基于2D图像的虚拟试衣方法及装置
技术领域
[0001]本发明涉及计算机与网络技术领域，尤指一种虚拟试衣方法及装置。
背景技术
[0002]随着计算机技术和在线购物平台的发展，在线服装购物出现了显著的增长，与传统购物相比，在线购物具有方便快捷等诸多优势，但由于不能像实体店服装购物一样可以实时试穿、检查服装后再购买等，有些人依然会为了避免反复退货选择在实体店购买服装，可见创建一个接近现实的交互式购物环境越来越重要，虚拟试衣也由此引起了广泛的关注。
[0003]早期主要是基于3D的方法实现虚拟试衣，但是3D方法需要依赖计算机图像学来构建3D模块并渲
染试穿图像，且3D数据获取难度较大，需要花费大量的人力物力财力，大大限制了虚拟试穿在实际中的应用。近期有技术人员提出了基于图像的视觉试穿，试图将虚拟试穿转换为条件图像生成问题，并显示出令人鼓舞的结果。目前，国内外很多机构都在做相关研究，但是使用的方法在对衣服进行扭曲时都会出现形状畸变和纹理失真，导致最终合成的试穿图像出现不自然不真实等情况；另外，在试穿合成时没有使用完整的非试穿衣服区域细节，导致试穿图像中不能完全保留参考人的身份细节；再有，通常先使用一个标准的编码器提取目标衣服细节和非试穿衣服区域的细节，之后再通过一个解码器解码的方式形成试穿图像，导致生成失真的试穿图像，尤其是当参考人存在复杂姿势和手臂遮挡时这种现象更为严重。
发明内容
[0004]本发明的目的是提供一种基于2D图像的虚拟试衣方法及装置，有效解决现有虚拟试衣中合成的试穿图像出现不自然不真实、失真等情况。
[0005]本发明提供的技术方案如下：
[0006]一种基于2D图像的虚拟试衣方法，包括：
[0007]获取参考人图像和目标衣服图像；
[0008]根据由所述参考人图像中提取的粗糙身体形状图、姿势图及非试穿区域细节图合成参考人表示图；
[0009]根据所述参考人表示图对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像，及对所述目标衣服图像的特征进行扭曲得到第二扭曲衣服图像和预测扭曲衣服合成掩码；[0010]基于所述扭曲衣服合成掩码对第一扭曲衣服图像和第二扭曲衣服图像进行合成得到最终扭曲衣服图像；
[0011]分别提取所述参考人表示图和最终扭曲衣服图像的特征得到初步试穿合成图像及预测试穿图像合成掩码；
[0012]根据所述试穿图像合成掩码合成初步试穿合成图像和最终扭曲衣服图像得到最终的试穿合成图像，完成基于2D图像的虚拟试衣。
[0013]本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述基于2D 图像的虚拟试衣方法的步骤。
[0014]本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于2D图像的虚拟试衣方法的步骤。[0015]本发明还提供了一种基于2D图像的虚拟试衣装置，包括：
[0016]图像获取模块，用于获取参考人图像和目标衣服图像；
[0017]参考人表示图生成模块，用于根据由所述参考人图像中提取的粗糙身体形状图、姿势图及非试穿区域细节图合成参考人表示图；
[0018]扭曲衣服图像生成模块，用于根据所述参考人表示图对目标衣服图像的像素进行扭曲得到第一扭曲衣服图像、对所述目标衣服图像的特征进行扭曲得到第二扭曲衣服图像和预测扭曲衣服合成掩码、及基于所述扭曲衣服合成掩码对第一扭曲衣服图像和第二扭曲衣服图像进行合成得到最终扭曲衣服图像；
[0019]试穿合成图像生成模块，用于分别提取所述参考人表示图和最终扭曲衣服图像的特征得到初步试穿合成图像及预测试穿图像合成掩码，并根据所述试穿图像合成掩码合成初步试穿合成图像和最终扭曲衣服图像得到最终的试穿合成图像，完成基于2D图像的虚拟试衣。
[0020]本发明提供的基于2D图像的虚拟试衣方法及装置中，整体可以分为扭曲衣服阶段和试穿合成阶段：
[0021] 1.扭曲衣服阶段使用像素扭曲和特征扭曲结合的策略，以此生成更加自然逼真的扭曲衣服形状和纹理，同时提升变形、旋转和遮挡的鲁棒性，解决单独使用像素扭曲时出现的形状畸变纹理失真问题。
[0022] 2.试穿合成阶段使用新的参考人表示图和两个编码器一个解码器的结构合成试穿合成图像，使得
合成的试穿图像保留目标衣服纹理细节的同时保留非试穿衣服区域细节的图像，相比于标准的编解码结构来说，试穿效果更加接近于真实，大大提升了用户体验。另外，对于非试穿区域细节图的提取不仅考虑面部和头发的图像，同时考虑除试穿区域的其他区域，如试穿上衣时，会将裤子区域作为非试穿区域，以完整保留非试穿衣服区域细节，进一步提升效果。
附图说明
[0023]下面将以明确易懂的方式，结合附图说明优选实施例，对上述特性、技术特征、优点及其实现方式予以进一步说明。
[0024]图1为本发明中基于2D图像的虚拟试衣方法流程示意图；
[0025]图2为本发明中对目标衣服图像进行扭曲的流程示意图；
[0026]图3为本发明中衣服试穿合成流程图；
[0027]图4为本发明中基于2D图像的虚拟试衣装置结构示意图；
[0028]图5为本发明一实例中基于衣服形状的试穿效果对比图；
[0029]图6为本发明一实例中基于衣服纹理的试穿效果对比图；
[0030]图7为本发明一实例中基于下身服装保持的效果对比图；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议