(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910817466.3
(22)申请日 2019.08.30
(71)申请人 中国科学院自动化研究所南京人工
智能芯片创新研究院
地址 211000 江苏省南京市江宁区创研路
266号3号楼3层
(72)发明人 潘小功 胡庆浩 冷聪
(74)专利代理机构 南京泰普专利代理事务所
(普通合伙) 32360
代理人 窦贤宇
(51)Int.Cl.
G06F 16/9535(2019.01)
G06K 9/00(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06F 16/23(2019.01)
(54)发明名称一种基于CNN的发型推荐系统、方法、设备及存储介质(57)摘要本发明公开了一种基于CNN的发型推荐系统、方法、设备及存储介质，包括参照图片数据化单元、人脸识别单元和评价更新单元；所述参照图片数据化单元对百度云端接口传送的含人脸的发型参考照片进行识别并标签化，使用CNN网络训练并生成发型参照数据库；所述人脸识别单元对用户的人脸进行脸型识别，并定位到具体面部区域，进一步准确添加参照发型；所述评价更新单元汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型的推荐发型进行排名更新。本发明使用CNN网络学习人脸的特征，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中到匹配的发型，便于用 户更加精准迅速地识别出适
合自己的发型。权利要求书3页 说明书6页 附图2页CN 110598097 A 2019.12.20
C N 110598097
A
1.一种基于CNN 的发型推荐系统，其特征在于，包括参照图片数据化单元、人脸识别单元和评价更新单元；
参照图片数据化单元，接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
人脸识别单元，对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
评价更新单元，汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
所述参照图片数据化单元，使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，
具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，包括眉形、眼型、鼻型和发型发布；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考。
2.根据权利要求1所述的一种基于CNN 的发型推荐系统，其特征在于，所述卷积层中含有一定数量的卷积核，由于对脸型特征的提取主要分为眉形、眼型和鼻子的形状三种，卷积核套用的级数不深，避免多余计算，在图像特征提取过程，利用同一个卷积核进行相同的特征提取，提高运算效率，具体运算的公式为：
Y i=F（ΣX i N-i*K i+B i）；
其中，X是参考照片的输入值，K是不同级别的卷积核，B是不同级别的特征偏置值，N是特征核的总个数，Y是特征图的输出值，i是卷积的计算；
通过输入尺寸不同的参考照片，数据库根据大小自定义卷积核的数量，对脸部特征和发型特征值进行计算并输出特征值。
3.根据权利要求1所述的一种基于CNN 的发型推荐系统，其特征在于，所述池化层通过实现对特征的提取选择，通过使用平均值替代法和最大值替代法两种计算模式进行特征类型聚合，进一步得到计算复杂程度降低的效果。
4.根据权利要求1所述的一种基于CNN 的发型推荐系统，其特征在于，所述连接层对输入和输出之间较为复杂的映射关系进行学习，主要实现端口之间数据的传输，通过CNN网络中的监督学习算法，可以同
步进行向前和向后两种数据传播，具体为，学习归类数据时向前传播，提取特征时向后传播，两次反向数据处理过程可通过比对完成误差参数的调整，进一步加强特征提取的准确度。
5.一种基于CNN 的发型推荐方法，其特征在于，
接收云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN 网络训练并生成发型参照数据库；
对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
使用提供的预先训练的模型，利用提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中到匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，
具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对百度云端含有发型的不同脸型照片进行特征提取，分别实现脸型和发型的标签化；
步骤11、建立卷积层，提取图像的相关特征，例如眉形、眼型、鼻型、发型发布；
步骤12、建立池化层，实现对需要提取的特征进行选择；
步骤13、建立连接层，将实现了学习的特征进行分类，同时对更新的特征映射到样本标签空间中，等待传输；
步骤2、对归类的面部特征进行组合备用，根据图片点击浏览量的高低，添加对应的发型特征并保存，作为后续的发型参考；
其中，对用户的人脸进行脸型识别的布局包括：当用户通过摄像头拍摄时，对数据库传递自己的人脸图像数据，通过对眉形、眼部和鼻翼三个具体面部位置进行定位，以及对人脸轮廓的描边，完成脸型数据读取和匹配，具体步骤为：
步骤1、完成定帧式人脸拍摄，上传自拍照，通过对2D图像的进行ROI数据分析，识别用户上传的人脸轮廓并进行归类识别，确认脸型划分类型；
步骤2、利用摄像头记录用户的人脸，进行眉形、眼部和鼻翼三个面部位置的识别和定位，使用经过OPSQ优化后的黎曼人脸识别算法对用户的面部进行数据转换，在所述参照图片数据化单元种匹配适合的推荐发型，并在定位眉形、眼部和鼻翼的前提下，进行视频直接添加发型数据，实时显示在客户端界面上；
步骤3、通过用户主动调整视频拍摄过程中人脸和发型切合的位置，经由确认后进行拍摄保存。
6.根据权利要求5所述的基于CNN 的发型推荐方法，其特征在于，用户寻匹配发型可以直接经过数据库处理后得到的发型推荐，或者在自我描述脸型后，选择系统推荐的发型类别后，得到系统二次数据筛选出的推荐发型，流程为：
步骤1、确认是否自我描述脸型，获取推荐发型；
步骤2、如果不进行自我描述脸型步骤，将直接进行自拍，由系统获得用户人脸数据后自动匹配获得推荐发型；
步骤3、如果进行自我描述脸型步骤，可以进行两次发型推荐；
步骤31、通过选择对用户自身脸型的描述，例如，脸部的形状为长宽圆、是否有刘海遮挡、三庭五眼的比例分配，直接获取推荐发型模式，当出现的推荐发型中有用户满意的，可
以直接选取后通过摄像头进行匹配；
步骤32、如果在所述步骤31中没有得到用户满以的发型，则可以回到步骤2中，通过摄像头拍摄用户的人脸，进行发型匹配；
步骤4、用户在获取推荐发型后，系统将自动将用户的人脸数据和发型选择数据上传，同时将数据保存到数据库中，作为云端学习数据的一部分进行模型学习，保证数据库的实时更新。
7.根据权利要求5所述的基于CNN 的发型推荐方法，其特征在于，在处理用户拍摄的人脸数据时，使用ROI数据分析，即为对人脸进行感兴趣区域初步划分后，再处理数据，对于人脸轮廓识别时，优先使用center-loss的灰度图，节省轮廓提取时间，优化内部数据处理的计算结构。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求5至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求5至7中任一项所述的方法的步骤。
一种基于CNN的发型推荐系统、方法、设备及存储介质技术领域
[0001]本发明涉及一种人脸定位和面部识别技术，尤其是一种基于CNN 的发型推荐系统、方法、设备及存储介质。
背景技术
[0002]随着互联网的发展，大众对移动互联网的依赖已经渗透到社会生活的方方面面，手机上可以下载到各式各样的应用程式。例如，如果喜欢美酒，你可以下载“酒咔嚓”这种推荐美酒品种的应用；如果喜欢美食，可以使用“美团”寻附近的美食去处。可以说，人们已经将衣食住行交给了移动互联网，这样做的目的只有一个，就是达到最大的即时幸福感。其中，经过调查我们发现，利用移动互联网在爱美方面，人们开始投入越来越多的时间，特别是针对女性体来说，让自己变美已经成为愈加日常的事情，逐渐融入到人们的生活习惯当中了。
[0003]人们通过使用手机app 实现了很多人像美化。例如，通过浏览美妆主播们的社交主页，进行化妆或者穿搭的视频学习；经常在朋友圈中发自己的自拍，通过网络互动行为，让自己变的更加自信、更加有吸引力等等。而这其中，发型的好看与否成为了人们最关注的点之一。
[0004]为了使得用户能够便捷地获取适合自己的发型，取代传统的通过理发店设计这种方法，可以通过移动互联网，收集网络上评价比较高的发型。这些发型和对应的脸型有最佳的匹配度，在优化百度云端的数据之后，可以训练出一个深度神经网络，来实现将人脸和发型的最佳匹配度模型化，最后利用这个
模型，为使用者推荐最佳的发型设计。
发明内容
[0005]发明目的：提供一种基于CNN 的发型推荐系统，以解决上述问题。
[0006]技术方案：一种基于CNN 的发型推荐系统，包括参照图片数据化单元、人脸识别单元和评价更新单元；
参照图片数据化单元，接受百度云端传送的含人脸的发型照片，识别后对脸型和发型进行数据Label化，使用CNN网络训练并生成发型参照数据库；
人脸识别单元，对用户的人脸进行脸型识别，并定位到眉部、眼部和鼻翼这三种具体的面部区域，进一步准确添加参照发型；
评价更新单元，汇总不同种脸型在网上的发型评价，结合用户实时使用的评价，对每一款脸型进行发型推荐并进行排名更新；
所述参照图片数据化单元，使用百度提供的预先训练的模型，利用百度提供的已经标注的脸型库，进行模型的训练，通过分割或者关键点的方式训练出一个模型，当输入一个人脸之后会在图像数据库中到
匹配的发型，每一次模型的输入是不同的脸，输出是脸型，从而便于用户更加精准迅速地识别出适合自己的发型，具体步骤为:
步骤1、使用CNN网络构建图像处理数据库，对百度云端含有发型的不同脸型照片进行
说 明 书
1/6页CN 110598097 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议