基于化妆箱的化妆方法、装置、存储介质及电子装置与流程

1.本技术涉及智能家居/智慧家庭技术领域，具体而言，涉及一种基于化妆箱的化妆方法、装置、存储介质及电子装置。

背景技术：

2.目前现有技术中，化妆盒及化妆镜的功能均较为单一，化妆盒通常仅具有容纳化妆品等物件的功能，化妆镜仅具备显像的功能。
3.然而现在化妆品种类繁多，对于一些化妆新手，在进行化妆过程中，一方面需要在手机或其他终端与镜子之间不断切换，另一方面当化妆盒的空间比较狭小时，也给用户选取、拿取、放回化妆品等操作带来了不少麻烦，导致用户化妆过程较为繁琐，耗时较长。

技术实现要素：

4.本技术提供一种基于化妆箱的化妆方法、装置、存储介质及电子装置，用于解决现有技术中化妆盒及化妆镜智能化不高的技术问题。
5.本技术提供一种基于化妆箱的化妆方法，所述化妆箱包括化妆镜及与所述化妆镜固定连接的化妆盒，所述化妆镜的显示屏包括第一显示区域与第二显示区域，所述化妆盒包括若干个用于存放化妆品的卡槽及用于从所述卡槽中拿取化妆品的夹抱装置，包括：
6.在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；
7.在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；
8.在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述化妆镜的第一显示区域中显示所述确定指令对应的目标化妆视频，并在所述化妆镜的第二显示区域中显示所述用户的面部图像；
9.基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。
10.根据本技术提供的基于化妆箱的化妆方法，所述基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，包括：
11.根据所述面部图像中的脸部轮廓特征及所述目标化妆视频中的各步参考化妆步骤的参考上妆区域确定所述面部图像中各步化妆步骤对应的上妆区域；
12.在识别到所述用户在所述面部图像中的妆容操作的情况下，从所述各步化妆步骤对应的上妆区域中确定所述妆容操作对应的目标上妆区域，并确定所述目标上妆区域匹配的化妆步骤。
13.根据本技术提供的基于化妆箱的化妆方法，所述控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品之后，还包括：
14.在检测到所述用户将所述目标化妆品存放至卡槽内的情况下，识别所述目标化妆
品存放的卡槽是否正确；
15.在识别到所述目标化妆品存放的卡槽不正确的情况下，控制所述夹抱装置将所述目标化妆品自动放回至所述目标化妆品取出前存放的卡槽内，并将所述目标化妆品自动放回至正确的卡槽。
16.根据本技术提供的基于化妆箱的化妆方法，所述根据用户输入的语音信息检索出至少一条待推荐的化妆视频，包括：
17.确定所述语音信息对应的语义信息；
18.若所述语义信息中解析出妆容效果，则检索出与所述妆容效果匹配的至少一条待推荐的化妆视频；
19.若所述语义信息中解析出活动场景，则检索出与所述活动场景匹配的至少一条待推荐的化妆视频。
20.根据本技术提供的基于化妆箱的化妆方法，所述确定所述唤醒指令对应的工作模式之后，还包括：
21.在所述工作模式为智能传送模式的情况下，根据预设化妆品使用顺序控制所述夹抱装置依次从所述卡槽内取出各化妆品。
22.根据本技术提供的基于化妆箱的化妆方法，所述确定所述唤醒指令对应的工作模式之后，还包括：
23.在所述工作模式为护肤模式的情况下，通过所述化妆箱的摄像头采集到的所述用户面部图像分析结果确定用户的皮肤状态；
24.在所述皮肤状态不符合设定皮肤状态的情况下，控制所述夹抱装置从所述卡槽内取出与所述皮肤状态适配的护肤品，并输出护肤提醒消息。
25.根据本技术提供的基于化妆箱的化妆方法，所述唤醒指令的触发方式包括手势唤醒或语音唤醒。
26.本技术还提供一种基于化妆箱的化妆装置，包括：
27.唤醒单元，用于在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；
28.推荐单元，用于在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；
29.显示单元，用于在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述化妆镜的第一显示区域显示所述确定指令对应的目标化妆视频，并在所述第二显示区域显示所述用户的面部图像；
30.控制单元，用于基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。
31.本技术提供一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于化妆箱的化妆方法。
32.本技术提供一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于化妆箱的化妆方法。
33.本技术提供的基于化妆箱的化妆方法，通过在接收到用户输入的唤醒指令的情况下，确定唤醒指令对应的工作模式；在工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到用户针对化妆视频的确定指令的情况下，在化妆镜的第一显示区域显示确定指令对应的目标化妆视频，并在化妆镜的第二显示区域显示用户的面部图像；基于面部图像中的妆容操作确定用户匹配的化妆步骤，显示目标化妆视频中与化妆步骤匹配的视频帧，并控制夹抱装置从卡槽中取出化妆步骤对应的目标化妆品，由此本技术提出一种智能化的化妆镜及化妆盒，实现可在化妆镜中同步显示化妆视频及用户的面部图像，化妆盒自动取物，进而大量节省用户时间，提高用户的使用感。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
35.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本技术提供的基于化妆箱的化妆方法的硬件环境示意图；
37.图2为本技术提供的基于化妆箱的化妆方法的流程示意图；
38.图3为本技术提供的基于化妆箱的化妆装置的结构示意图；
39.图4为本技术提供的电子装置的结构示意图。
40.附图标记：
41.101：终端设备；102：服务器。
具体实施方式
42.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
43.需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后名次。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
44.根据本技术实施例的一个方面，提供了一种基于化妆箱的化妆方法。该基于化妆箱的化妆方法广泛应用于智慧家庭(smart home)、智能家居、智能家用设备生态、智慧住宅(intelligence house)生态等全屋智能数字化控制应用场景。在本实施例中，图1为本技术
提供的基于化妆箱的化妆方法的硬件环境示意图，上述基于化妆箱的化妆方法可以应用于如图1所示的由终端设备101和服务器102所构成的硬件环境中。服务器102通过网络与终端设备101进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器102提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器102提供数据运算服务。
45.上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：wifi(wireless fidelity，无线保真)，蓝牙。终端设备101可以并不限定于为pc、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
46.需要说明的是，该方法的执行主体为化妆箱中的控制单元，化妆箱包括化妆镜及与化妆镜固定连接的化妆盒，其中，该控制单元可以为电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备，本技术不作具体限定。
47.本实施例中，化妆盒内部设有若干个用于存放物品的卡槽，卡槽内可以放置各类化妆品、护肤品等物品，同时化妆盒设有图像采集装置，优选地，图像采集装置设置于各卡槽内部。
48.用户在进行物品归纳时，可以先触发化妆箱进入化妆盒归纳模式，图像采集装置进入工作状态，用户在将物品放置于卡槽的过程中，各卡槽内的图像采集装置分别采集各卡槽内的物品图像，并对各物品图像进行图像分析，以得到各卡槽内存放的物品信息。
49.用户在完成物品放置之后，化妆盒将采集到的各卡槽内的物品信息同步传输至化妆镜中，并基于物品归纳列表的形式进行可视化显示，物品归纳列表中分为卡槽编号列及物品信息列，用户可自行对物品归纳列表中的相关信息进行编辑更改，并在接收到用户的确认指令后，判定物品归纳完成，并自动退出化妆盒归纳模式。
50.进一步地，为了提高智能化，本实施例中的化妆盒还设有夹抱装置，可以通过夹抱装置将化妆盒的卡槽内的物品进行拿取或归放。
51.进一步地，夹报装置还用于在化妆盒的图像采集装置识别到用户归还的物品的卡槽位置有误时，主动将用户存放的物品取出，以提示用户物品放置错误。
52.本实施例中，化妆镜也设有图像采集装置，优选地，设置于化妆镜的正上方边缘框的中心处，化妆镜的显示屏划分为第一显示区域与第二显示区域两部分，优选地，本实施例中可基于用户的操作灵活调整第一显示区域与第二显示区域之间的大小关系及位置关系。
53.本实施例中，第一显示区域为可视化显示第三方数据及响应用户触控操作等智能操作的区域，也即本实施例中的化妆视频、物品归纳列表中的物品信息的编辑操作等均基于第一显示区域实现。
54.第二显示区域为可显示图像采集装置采集到的用户图像及可对用户图像进行图像处理的区域。
55.本实施例中，化妆镜与化妆盒通过旋转固定的方式连接，优选地，化妆镜与化妆盒之间的旋转角的范围为0
°
～120
°
，在旋转角为0
°
的情况下，化妆镜与化妆盒之间紧密贴合，化妆镜和化妆盒之间均处于休眠状态，在旋转角为60
°
～90
°
之间的情况下，化妆盒与化妆镜的第二显示区域进入工作状态，在旋转角为90
°
～120
°
之间的情况下，化妆镜的第一显示区域也进入工作状态，由此用户可通过灵活调整化妆镜与化妆盒之间的旋转角大小来控制化妆镜与化妆盒是否进入工作状态。
56.图2为本技术提供的基于化妆箱的化妆方法的流程示意图，如图2所示，该方法包括步骤201、步骤202、步骤203和步骤204。
57.步骤201，在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；
58.本实施例中，化妆箱处于工作状态下的工作模式不止一种，各种工作模式所对应的唤醒指令也均不相同，其中，唤醒指令可为出厂设置下的固定指令，也可为用户自定义设置的指令，对此不作限制。
59.具体地，唤醒指令的触发方式包括但不限于手势唤醒、语音唤醒及触控唤醒。例如，用户可以向语音装置中输入相关的语音信息进行唤醒，用户还可以向图像采集装置中输入相关的手势动作进行唤醒，还可以通过不同的触控频次进行唤醒。
60.由此用户可以输入不同的唤醒指令以控制化妆箱的化妆镜及化妆盒进入不同的工作模式。
61.优选地，在化妆镜的侧面边框处还设置有各工作模式对应的提示图标，通过提示图标可以提示用户当前是否进入该提示图标对应的工作模式，例如智能推荐模式的提示图标为云朵，在进入智能推荐模式的情况下，控制云朵图标以绿指示灯显示，从而提示用户化妆箱进入智能推荐模式。
62.此外本实施例中，还可以仅设置一个提示图标，通过控制提示图标的闪动频率来提示用户当前所进入的工作模式。
63.步骤202，在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；
64.具体地，待推荐的化妆视频指代第三方化妆视频数据库中与用户的语音信息之间相似度符合预设期望值的视频。
65.该步骤中，可以通过对语音信息进行自然语言处理nlp，解析出用户的语义信息，之后对第三方化妆视频数据库中各化妆视频的标题、标签等信息进行nlp处理，解析出各化妆视频的语义信息，最后计算出用户的语义信息与各化妆视频的语义信息之间的相似度，进而检索出至少一条待推荐的化妆视频。
66.具体地，在一实施例中，确定语音信息对应的语义信息；若语义信息中解析出妆容效果，则检索出与妆容效果匹配的至少一条待推荐的化妆视频；若语义信息中解析出活动场景，则检索出与活动场景匹配的至少一条待推荐的化妆视频，由此化妆盒可以根据用户输入的语音信息进行视频检索，检测出与用户期望效果相似度阈值符合的化妆视频。
67.步骤203，在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述第一显示区域中显示所述确定指令对应的目标化妆视频，并在所述第二显示区域中显示所述用户的面部图像；
68.该步骤中，在第一显示区域中滚动播放各条待推荐的化妆视频，用户可以通过触控操作滑动播放各条化妆视频，在接收到用户的确定指令的情况下，在第一显示区域中固定播放该确定指令对应的目标化妆视频。
69.其中，确定指令的触发方式包括但不限制于语音或触控操作，例如第一显示区域在播放某一条化妆视频时，用户可以通过双击第一显示区域，化妆镜在检测到用户双击第一显示区域的触控操作的情况下，判定该条化妆视频为用户选定的目标化妆视频。
70.进一步地，在检索出待推荐的化妆视频不符合用户期望时，用户可以通过向上滑动化妆视频或者向下滑动化妆视频的操作，输入删除化妆视频的指令。
71.本实施例中，第二显示区域显示的面部图像为化妆镜的图像采集装置实时采集到的用户图像中的面部区域处的图像，优选地，面部图像的大小与第二显示区域的显示区域大小一致，也即在采集到用户图像之后，提取出用户图像中的面部区域处的图像，并基于第二显示区域的显示区域大小调整面部图像显示的大小，由此使得用户在化妆过程中更加清晰地看到自己的妆容效果。
72.在实际应用中，当检测到第二显示区域内显示的面部图像的清晰度小于设定的最小清晰度时，可以在第二显示区域中输出相应的文字提示或标识提示，由此提示用户当前化妆镜未能清晰采集到用户的面部图像，从而提示用户调整姿位使得第二显示区域中显示的面部图像的清晰度大于设定的最小清晰度。
73.步骤204，基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。
74.具体地，妆容操作指代用户在该面部图像区域处进行上妆的手势动作。本实施例中，通过利用大量标注有妆容操作标签的图像去训练初始妆容操作识别模型，得到可以识别妆容操作的妆容操作识别模型。
75.该步骤中，可以通过识别用户的妆容操作判断当前用户所处的化妆步骤，并根据识别出结果同步控制目标化妆视频中的该化妆步骤对应的视频帧的显示，由此实现第一显示区域中播放的视频内容与用户妆容操作步骤一致，从而达到辅助用户化妆的目的。
76.本实施例中，可以控制第一显示区域中重复播放该妆容操作对应的化妆步骤的视频帧，还可以控制第一显示区域中的画面暂停显示在该妆容操作对应的化妆步骤的最后一帧视频帧上，对此不作限制。
77.该步骤中，在控制夹抱装置从卡槽中取出化妆步骤对应的目标化妆品之后，还包括：
78.在检测到用户将目标化妆品存放至卡槽内的情况下，识别目标化妆品存放的卡槽是否正确；在识别到目标化妆品存放的卡槽不正确的情况下，控制所述夹抱装置将所述目标化妆品自动放回至所述目标化妆品取出前存放的卡槽内，并将所述目标化妆品自动放回至正确的卡槽，以提示用户目标化妆品存放错误。
79.由此本实施例中，可在监测到用户存放位置有误时通过夹抱装置及时将化妆品放回至其被取出前原始存放的卡槽内，不仅可以提醒用户化妆品位置放置错误，还可以避免化妆品位置总是变动，导致化妆品摆放凌乱，节省用户后续整理化妆品时间。
80.进一步地，本实施例中，为了提高化妆盒的智能性，在确定出目标化妆视频后，判
断是否存在与该目标化妆视频中的妆容操作匹配的历史用户妆容操作，若存在则获取该历史用户妆容操作对应的化妆品信息，从而根据该历史用户妆容操作对应的化妆品信息控制化妆盒取出各化妆步骤对应的目标化妆品。
81.具体地，本实施例中的化妆盒具备智能学习模式，在进入智能学习模式后，会对用户日常使用的化妆品的顺序进行标记学习，在学习一段时间之后关闭智能学习模式，并保存该段智能学习期间内学习到的化妆品使用顺序，进而实现自动按顺序对各化妆步骤过程中所需要的化妆品进行取出及收回操作。
82.本实施例提出的化妆方法，通过在接收到用户输入的唤醒指令的情况下，确定唤醒指令对应的工作模式；在工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到用户针对化妆视频的确定指令的情况下，在化妆镜的第一显示区域显示确定指令对应的目标化妆视频，并在化妆镜的第二显示区域显示用户的面部图像；基于面部图像中的妆容操作确定用户匹配的化妆步骤，显示目标化妆视频中与化妆步骤匹配的视频帧，并控制夹抱装置从卡槽中取出化妆步骤对应的目标化妆品，由此本技术提出一种智能化的化妆镜及化妆盒，实现可在化妆镜中同步显示化妆视频及用户的面部图像，化妆盒自动取物，进而大量节省用户时间，提高用户的使用感。
83.基于以上实施例，所述在所述化妆镜的操作屏中显示所述用户的面部图像之后，还包括：
84.显示所述目标化妆视频中的第一步化妆步骤对应的第一视频帧；
85.根据所述面部图像中的脸部轮廓特征及所述第一视频帧中的第一参考妆容操作确定所述面部图像中的所述第一步化妆步骤对应的第一上妆区域；
86.在识别到所述第一上妆区域存在与所述第一参考妆容操作一致的妆容操作的情况下，显示所述目标化妆视频中的第二步化妆步骤对应的第二视频帧；
87.将所述第二视频帧作为所述第一视频帧，返回执行所述根据所述面部图像中的脸部轮廓特征及所述第一视频帧中的第一参考妆容操作确定所述面部图像中的所述第一步化妆步骤对应的第一上妆区域的步骤；
88.继续执行所述在识别到所述第一上妆区域存在与所述第一参考妆容操作一致的妆容操作的情况下，显示所述目标化妆视频中的第二步化妆步骤对应的第二视频帧的步骤，直至所述目标化妆视频显示结束。
89.其中，第一视频帧指代第一步化妆步骤所对应的多帧视频帧，以第一化妆步骤的起始时间点对应的视频帧开始，以第一化妆步骤所对应的结束时间点对应的视频帧结束。
90.脸部轮廓特征包括但不限于鼻骨特征、下巴特征、人脸宽度长度特征及下颌骨特征。
91.该步骤中，先确定出第一视频帧中的第一参考妆容操作所对应的参考上妆区域及视频帧中的参考用户的参考脸部轮廓特征，之后根据第一视频帧中的参考上妆区域与参考脸部轮廓特征之间的位置关系计算出用户的脸部轮廓特征所对应的第一上妆区域。
92.在确定出第一上妆区域之后，根据第一参考妆容操作构建出第一上妆区域中的边缘特征点，在识别到用户的妆容操作经过该边缘特征点的情况下，判定与第一参考妆容操作一致，并自动开始显示第二视频帧。
93.进一步地，所述根据所述面部图像中的脸部轮廓特征及所述第一视频帧中的第一
参考妆容操作确定所述面部图像中的所述第一步化妆步骤对应的第一上妆区域之后，还包括：
94.在所述操作屏中可视化显示所述第一上妆区域，以提示所述用户在所述第一上妆区域处进行妆容操作。
95.本实施例中，可视化显示的方式包括但不限于特征点或特征线条。
96.在实际应用中，在确定出面部图像中的第一上妆区域后，确定该第一上妆区域的边缘部分，并在面部图像中显示该边缘部分位置的至少一个边缘特征点，以提示用户的沿着该边缘特征点进行上妆。
97.基于以上实施例，所述基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，包括：
98.根据所述面部图像中的脸部轮廓特征及所述目标化妆视频中的各步参考化妆步骤的参考上妆区域确定所述面部图像中各步化妆步骤对应的上妆区域；
99.在识别到所述用户在所述面部图像中的妆容操作的情况下，从所述各步化妆步骤对应的上妆区域中确定所述妆容操作对应的目标上妆区域，确定所述目标上妆区域匹配的化妆步骤。
100.其中，脸部轮廓特征包括但不限于鼻骨特征、下巴特征、人脸宽度长度特征及下颌骨特征。
101.该步骤中，先确定出目标化妆视频中各参考化妆步骤所对应的参考上妆区域及目标化妆视频中的参考用户的参考脸部轮廓特征，之后根据参考上妆区域与参考脸部轮廓特征之间的位置关系计算出用户的脸部轮廓特征所对应的各步化妆步骤对应的上妆区域，并生成各上妆区域中的操作点区间。
102.在通过妆容操作识别模型识别到用户在面部图像中的妆容操作的情况下，定位出该妆容操作对应的操作点，确定该操作点所属的操作点区间确定出所对应的上妆区域，进而达到精准识别出用户匹配的化妆步骤的目的。
103.基于以上实施例，所述从所述各步化妆步骤对应的上妆区域中确定所述妆容操作对应的目标上妆区域之后，还包括：在所述第二显示区域中可视化显示所述上妆区域，以提示所述用户在所述上妆区域处进行妆容操作。
104.本实施例中，可视化显示的方式包括但不限于特征点或特征线条。
105.在实际应用中，在确定出面部图像中的上妆区域后，确定该上妆区域的边缘部分，并在面部图像中显示该边缘部分位置的至少一个边缘特征点，以提示用户的沿着该边缘特征点进行上妆。
106.本实施例中，化妆盒具备辅助化妆功能，可以根据用户的妆容操作控制显示目标化妆视频的播放进度，从而避免用户需要在手机或其他终端与镜子之间不断切换的过程，节省用户时间，提高用户的使用感。
107.基于以上实施例，所述确定所述唤醒指令对应的工作模式之后，还包括：
108.在所述工作模式为智能传送模式的情况下，根据预设化妆品使用顺序控制所述夹抱装置依次从所述卡槽内取出各化妆品。
109.本实施例中，智能传送模式指代化妆盒自动按顺序对各妆容操作过程中所需要的化妆品进行取出及收回操作的模式。
110.预设化妆品使用顺序指代化妆箱处于智能学习模式下，对用户日常使用的化妆品的顺序进行标记学习后得到的用户化妆品使用顺序。
111.需要说明的是，在实际应用中，当用户需要存储一个新的化妆品使用顺序时，则可发送智能学习模式对应的唤醒指令，以唤醒化妆盒进入智能学习模式，化妆盒删除当前保存的化妆品使用顺序，并重新标识并保存新的化妆品使用顺序。换句或说，本实施例中，化妆盒中仅能保存一条化妆品使用顺序，用户可通过启动化妆盒的智能学习模式更新化妆品使用顺序。
112.基于以上实施例，所述确定所述唤醒指令对应的工作模式之后，还包括：
113.在所述工作模式为护肤模式的情况下，通过所述化妆箱的摄像头采集到的所述用户面部图像分析结果确定用户的皮肤状态；
114.在所述皮肤状态不符合设定皮肤状态的情况下，控制所述夹抱装置从所述卡槽内取出与所述皮肤状态适配的护肤品，并输出护肤提醒消息。
115.该步骤中，通过化妆镜的图像采集装置中的摄像头采集用户的面部图像，通过采集到的面部图像的用户面部图像分析结果确定用户的皮肤状态。
116.本实施例中，可以通过将面部图像发送至第三方皮肤检测终端，接收第三方皮肤检测终端反馈的用户面部图像分析结果，还可以通过化妆箱的图像处理装置对面部图像进行灰度化等图像处理得出用户面部图像分析结果，并结合存储的皮肤状态数据库解析出用户的皮肤状态。
117.该步骤中，护肤提醒消息中包括但不限于护肤时间、护肤次数、护肤方式及推荐护肤品。
118.例如，在一应用场景中，当从化妆盒中不存在与该皮肤状态适配的护肤品或者与该皮肤状态适配的护肤品的余量低于该皮肤状态所需要的护肤品的最小用量时，可以结合该皮肤状态与当前畅销的护肤产品推荐出适配用户的护肤品，并进行提醒。
119.进一步地，在另一实施例中，在确定出用户的皮肤状态之后，在化妆镜的第一显示区域中可视化显示出皮肤状态，例如通过文字报告的方式进行可视化显示，还可以通过在用户图像中进行文字标识的方式进行可视化显示，对此不作限制。
120.本实施例中，化妆盒具备护肤提醒功能，可对用户的皮肤状态进行监测，并在皮肤状态不好时给予护肤建议，提高了化妆盒的智能化，进而提高用户的使用感。
121.基于上述任一实施例，下面对本技术提供的化妆装置进行描述，下文描述的化妆装置与上文描述的基于化妆箱的化妆方法可相互对应参照。
122.图3为本技术提供的基于化妆箱的化妆装置的结构示意图，如图3所示，该装置包括：唤醒单元310，用于在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；推荐单元320，用于在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；显示单元330，用于在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述化妆镜的第一显示区域显示所述确定指令对应的目标化妆视频，并在所述第二显示区域显示所述用户的面部图像；控制单元340，用于基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。
123.本技术实施例提供的基于化妆箱的化妆装置具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
124.本技术实施例提供的基于化妆箱的化妆装置，通过在接收到用户输入的唤醒指令的情况下，确定唤醒指令对应的工作模式；在工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到用户针对化妆视频的确定指令的情况下，在化妆镜的第一显示区域显示确定指令对应的目标化妆视频，并在化妆镜的第二显示区域显示用户的面部图像；基于面部图像中的妆容操作确定用户匹配的化妆步骤，显示目标化妆视频中与化妆步骤匹配的视频帧，并控制夹抱装置从卡槽中取出化妆步骤对应的目标化妆品，由此本技术提出一种智能化的化妆镜及化妆盒，实现可在化妆镜中同步显示化妆视频及用户的面部图像，化妆盒自动取物，进而大量节省用户时间，提高用户的使用感。
125.基于上述任一实施例，基于上述任一实施例，图4为本技术提供的电子装置的结构示意图，如图4所示，该电子装置可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线(communications bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述第一显示区域显示所述确定指令对应的目标化妆视频，并在所述第二显示区域显示所述用户的面部图像；基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。
126.此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
127.本技术实施例提供的电子装置中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
128.本技术实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
129.其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
130.本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器
执行时实现如上述方法。
131.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
132.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
133.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：

1.一种基于化妆箱的化妆方法，所述化妆箱包括化妆镜及与所述化妆镜固定连接的化妆盒，所述化妆镜的显示屏包括第一显示区域与第二显示区域，所述化妆盒包括若干个用于存放化妆品的卡槽及用于从所述卡槽中拿取化妆品的夹抱装置，其特征在于，包括：在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述第一显示区域中显示所述确定指令对应的目标化妆视频，并在所述第二显示区域中显示所述用户的面部图像；基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。2.根据权利要求1所述的基于化妆箱的化妆方法，其特征在于，所述基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，包括：根据所述面部图像中的脸部轮廓特征及所述目标化妆视频中的各步参考化妆步骤的参考上妆区域确定所述面部图像中各步化妆步骤对应的上妆区域；在识别到所述用户在所述面部图像中的妆容操作的情况下，从所述各步化妆步骤对应的上妆区域中确定所述妆容操作对应的目标上妆区域，并确定所述目标上妆区域匹配的化妆步骤。3.根据权利要求1所述的基于化妆箱的化妆方法，其特征在于，所述控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品之后，还包括：在检测到所述用户将所述目标化妆品存放至卡槽内的情况下，识别所述目标化妆品存放的卡槽是否正确；在识别到所述目标化妆品存放的卡槽不正确的情况下，控制所述夹抱装置将所述目标化妆品自动放回至所述目标化妆品取出前存放的卡槽内，并将所述目标化妆品自动放回至正确的卡槽。4.根据权利要求1所述的基于化妆箱的化妆方法，其特征在于，所述根据用户输入的语音信息检索出至少一条待推荐的化妆视频，包括：确定所述语音信息对应的语义信息；若所述语义信息中解析出妆容效果，则检索出与所述妆容效果匹配的至少一条待推荐的化妆视频；若所述语义信息中解析出活动场景，则检索出与所述活动场景匹配的至少一条待推荐的化妆视频。5.根据权利要求1所述的基于化妆箱的化妆方法，其特征在于，所述确定所述唤醒指令对应的工作模式之后，还包括：在所述工作模式为智能传送模式的情况下，根据预设化妆品使用顺序控制所述夹抱装置依次从所述卡槽内取出各化妆品。6.根据权利要求1所述的基于化妆箱的化妆方法，其特征在于，所述确定所述唤醒指令对应的工作模式之后，还包括：
在所述工作模式为护肤模式的情况下，通过所述化妆箱的摄像头采集到的所述用户面部图像分析结果确定用户的皮肤状态；在所述皮肤状态不符合设定皮肤状态的情况下，控制所述夹抱装置从所述卡槽内取出与所述皮肤状态适配的护肤品，并输出护肤提醒消息。7.根据权利要求1至6任一项所述的基于化妆箱的化妆方法，其特征在于，所述唤醒指令的触发方式包括手势唤醒或语音唤醒。8.一种基于化妆箱的装置，其特征在于，包括：唤醒单元，用于在接收到用户输入的唤醒指令的情况下，确定所述唤醒指令对应的工作模式；推荐单元，用于在所述工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；显示单元，用于在接收到所述用户针对所述化妆视频的确定指令的情况下，在所述第一显示区域显示所述确定指令对应的目标化妆视频，并在所述第二显示区域显示所述用户的面部图像；控制单元，用于基于所述用户在所述面部图像中的妆容操作确定所述用户匹配的化妆步骤，在所述第一显示区域中显示所述目标化妆视频中与所述化妆步骤匹配的视频帧，并控制所述夹抱装置从所述卡槽中取出所述化妆步骤对应的目标化妆品。9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于化妆箱的化妆方法。10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于化妆箱的化妆方法。

技术总结

本申请公开了一种基于化妆箱的化妆方法、装置、存储介质及电子装置，涉及智能家居/智慧家庭技术领域，该方法包括：在工作模式为智能推荐模式的情况下，根据用户输入的语音信息检索出至少一条待推荐的化妆视频；在接收到用户针对化妆视频的确定指令的情况下，在第一显示区域显示确定指令对应的目标化妆视频，并在第二显示区域显示用户的面部图像；基于面部图像中的妆容操作确定用户匹配的化妆步骤，显示目标化妆视频中与化妆步骤匹配的视频帧，并控制夹抱装置从卡槽中取出化妆步骤对应的目标化妆品，由此本申请实现可在化妆镜中同步显示化妆视频及用户的面部图像，化妆盒自动取物，进而大量节省用户时间，提高用户的使用感。提高用户的使用感。提高用户的使用感。