首页 > 专利查询

基于图像分析的皮肤管理服务提供装置以及方法与流程

1.本发明涉及一种基于图像分析的皮肤管理服务提供装置以及方法，更详细地，涉及一种如下的基于图像分析的皮肤管理服务提供装置以及方法，基于深度学习分析用相机拍摄化妆品的容器来获得的图像，从而识别使用中的化妆品，基于深度学习分析使用中的化妆品来预测用户的皮肤类型后，推荐适合用户的皮肤类型的化妆品。

背景技术

：
：：2.最近，用于保护皮肤免受含有污染物质的大气环境的影响且保持健康皮肤的皮肤管理得到了更多的关注，由于外部环境的持续变化，皮肤过敏的种类也变得多样化，从而用于预防皮肤过敏的化妆品开发也在持续进行中。3.但是，不仅存在用户难以分析自己皮肤类型的问题，而且还存在很难从各种化妆品中挑选适合自己皮肤类型的化妆品的问题。4.由此，用户选择不适合自己皮肤的化妆品来使用，从而使皮肤过敏恶化，并且，在挑选适合自己皮肤的化妆品的过程中，还需要购买不适合皮肤的化妆品，因此存在用户负担相当高的费用的问题。5.现有技术文献6.专利文献7.专利文献1：韩国公开专利第10-2020-0117251号技术实现要素：8.发明所要解决的问题9.本发明的目的在于，从用户接收拍摄用户使用中的化妆品的容器的图像，将该图像适用于以用于识别化妆品的用途学习的模型，从而识别用户使用中的化妆品，基于深度学习分析使用中的化妆品来预测用户的皮肤类型后，推荐适合用户的皮肤类型的化妆品，从而使选择用于改善皮肤状态的化妆品时所需的用户的时间和费用最小化。10.用于解决问题的方案11.根据本发明实施例的基于图像分析的皮肤管理服务提供装置可以包括：通信部，其从用户终端接收包括拍摄使用中的一个以上的化妆品各自的容器的上述化妆品各自的容器图像的委托信息；存储部，其存储互不相同的多个化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息；容器分析部，其通过将包括在上述委托信息的上述化妆品各自的容器图像适用于以学习上述化妆品的容器图像与对应于上述化妆品的化妆品识别信息之间的相关关系的方式预设的第1学习模型，来获得与上述委托信息对应的一个以上的化妆品识别信息；皮肤类型分析部，其包括学习构成化妆品的成分与皮肤类型之间的相关关系的第2学习模型；以及控制部，其在通过上述通信部接收上述委托信息时，通过上述容器分析部获得与上述委托信息对应的一个以上的化妆品识别信息，基于获得的一个以上的上述化妆品识别信息搜索上述存储部，获得分别与获得的一个以上的上述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息，在分别从一个以上的上述拥有化妆品信息中提取成分信息后，通过与上述皮肤类型分析部的联动，将提取的一个以上的上述成分信息适用于上述第2学习模型，来确定对上述用户预测的预料皮肤类型，并将基于与上述预料皮肤类型对应的上述基准信息，判断一个以上的上述拥有化妆品信息各自是否适合上述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息提供给上述用户终端。12.作为与本发明相关的一例，上述控制部基于上述判断结果信息，将一个以上的上述拥有化妆品信息中的适合用户的同时不包括避讳对象成分的化妆品信息设置为使用对象化妆品信息，基于一个以上的上述使用对象化妆品信息各自所包括的用量、使用方法以及与属于其他类别的化妆品的组合使用方法中的至少一个，生成对于一个以上的上述使用对象化妆品信息的使用计划表相关的计划表信息后发送至上述用户终端。13.作为与本发明相关的一例，上述存储部存储分别与多个化妆品信息中的至少一个匹配的一个以上的化妆工具信息，上述控制部基于上述使用对象化妆品信息搜索上述存储部，如果存在与上述使用对象化妆品信息匹配的特定化妆工具信息，则将上述特定化妆工具信息匹配于上述计划表信息中的与上述特定化妆工具信息匹配的化妆品信息后包括在上述计划表信息中。14.作为与本发明相关的一例，上述委托信息包括：皮肤状态信息、拍摄使用于特定身体部位的一个以上的化妆品各自的容器的上述化妆品各自的容器图像以及对于指代上述特定身体部位的名称的身体部位信息，其中，上述皮肤状态信息包括拍摄发生皮肤过敏的特定身体部位的皮肤状态的第1图像或者拍摄未发生皮肤过敏的上述特定身体部位的皮肤状态的第2图像的同时，包括皮肤过敏发生与否，上述服务提供装置还包括：学习部，其仅将包括上述第2图像的委托信息作为对象，将上述第2图像以及上述身体部位信息与通过上述容器分析部获得的一个以上的化妆品识别信息相匹配后，使预设的第3学习模型进行学习，当接收上述委托信息时，上述控制部与上述学习部联动，将包括在上述委托信息的上述第1图像以及第2图像中的任一个和上述身体部位信息适用于上述第3学习模型，由此通过上述第3学习模型，计算出包括预测使用于与用户的皮肤类型相似的皮肤类型的一个以上的化妆品各自的化妆品识别信息的输出信息，基于包括在上述输出信息的一个以上的化妆品识别信息搜索上述存储部，来生成包括与上述输出信息对应的一个以上的化妆品信息的化妆品推荐信息后发送至上述用户终端。15.作为与本发明相关的一例，上述控制部通过上述通信部接收与包括上述第2图像的委托信息中提取的上述第2图像对应的一个以上的新化妆品的化妆品组合信息，并将与上述第2图像对应的从委托信息中提取的身体部位信息与上述第2图像以及上述化妆品组合信息相匹配后，使上述第3学习模型进行学习。16.作为与本发明相关的一例，如果上述控制部从接收上述化妆品推荐信息的上述用户终端中接收包括上述化妆品推荐信息中所包括的推荐化妆品中的上述用户使用的一个以上的使用化妆品各自的化妆品识别信息的反馈信息，则从与上述反馈信息对应的委托信息中提取上述第1图像或者第2图像和身体部位信息后，与包括在上述反馈信息的使用化妆品各自的化妆品识别信息进行匹配来生成学习数据，并与上述学习部联动，使上述第3学习模型学习与上述反馈信息对应的上述学习数据。17.作为与本发明相关的一例，上述控制部确认根据上述反馈信息的推荐分数，只有在推荐分数为预设的基准值以上的情况下，基于上述反馈信息生成上述学习数据后，使上述第3学习模型进行学习。18.作为与本发明相关的一例，上述控制部将对应于上述委托信息的一个以上的拥有化妆品信息与对应于上述用户终端的用户的会员信息进行匹配后积累存储在上述存储部，基于积累存储的上述拥有化妆品信息生成上述用户的偏爱信息，当生成上述化妆品推荐信息时，通过反映上述偏爱信息来选择将要包括在上述化妆品推荐信息的一个以上的推荐化妆品。19.作为与本发明相关的一例，上述偏爱信息按照化妆品类别包括用户偏爱的品牌、价格以及成分中的至少一个。20.作为与本发明相关的一例，上述容器图像包括对于化妆品容器的标签、化妆品容器的模样、化妆品容器的大小、化妆品容器的颜以及化妆品容器的条形码中的至少一个的图像数据。21.根据本发明实施例的基于图像分析的皮肤管理服务提供方法可以包括：服务提供装置从用户终端接收包括拍摄使用中的一个以上的化妆品各自的容器的上述化妆品各自的容器图像的委托信息的步骤；上述服务提供装置通过将包括在上述委托信息的上述化妆品各自的容器图像适用于以学习上述化妆品的容器图像与对应于上述化妆品的化妆品识别信息之间的相关关系的方式预设的第1学习模型，来获得与上述委托信息对应的一个以上的化妆品识别信息的步骤；上述服务提供装置基于一个以上的上述化妆品识别信息搜索存储有互不相同的多个化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息的上述服务提供装置的存储部，从而获得分别与一个以上的上述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息的步骤；上述服务提供装置在分别从一个以上的上述拥有化妆品信息中提取成分信息后，将提取的一个以上的上述成分信息适用于以学习构成化妆品的成分与皮肤类型之间的相关关系的方式预设的第2学习模型，来确定对上述用户预测的预料皮肤类型的步骤；以及上述服务提供装置生成基于与上述预料皮肤类型对应的上述基准信息，判断一个以上的上述拥有化妆品信息各自是否适合上述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息后，提供给上述用户终端的步骤。22.发明效果23.本发明中，可以仅通过拍摄用户拥有的化妆品的容器来识别用户拥有的化妆品，从而可以提高输入用户拥有的化妆品的便利性，并且，通过基于深度学习的人工智能分析用户拥有的化妆品来预测用户的皮肤类型后，根据该预测的皮肤类型，可以在用户拥有的化妆品中自动挑选提供适合用户的皮肤类型的化妆品，因此不仅可以提高对皮肤管理的用户的便利性以及满意度，而且还可以节省选择适合用户的皮肤类型的化妆品时所需的时间和费用。24.另外，本发明中，将请求用于管理皮肤的推荐化妆品的用户区分为发生皮肤过敏的异常发生用户和未发生皮肤过敏的正常用户，首先，使用正常用户的皮肤状态的图像和拥有的化妆品来使学习模型学习，然后通过该学习模型将具有与异常发生用户相似的皮肤类型的正常用户偏爱的化妆品推荐给异常发生用户，诱导异常发生用户使用具有与自己相access，hsdpa)、高速上行链路分组接入(highspeeduplinkpacketaccess，hsupa)、ieee802.16、长期演进(longtermevolution：lte)、长期演进的升级版(longtermevolution-advanced，lte-a)、无线移动宽带通信服务(wirelessmobilebroadbandservice：wmbs)、5g移动通信服务、蓝牙(bluetooth)、罗拉(longrange，lora)、射频识别(radiofrequencyidentification，rfid)、紫外线通信(infrareddataassociation：irda)、超宽带(ultrawideband，uwb)、紫蜂(zigbee)、近场通信(nearfieldcommunication：nfc)、超声波通信(ultrasoundcommunication：usc)、可见光通信(visiblelightcommunication：vlc)、无线网络(wi-fi)、无线网络直连(wi-fidirect)等。并且，有线通信网络可以包括有线lan(localareanetwork)、有线局域网(wideareanetwork，wan)、电力线通信(powerlinecommunication：plc)、usb通信、以太网(ethernet)、串行通信(serialcommunication)、光缆/同轴电缆等。40.并且，上述用户终端可以包括具有通信功能的智能手机(smartphone)、便携式终端(portableterminal)、移动终端(mobileterminal)、个人数字助理(personaldigitalassistant：pda)等各种终端。41.并且，上述服务提供装置100可以由服务服务器构成。42.根据上述结构，上述服务提供装置100可以从上述用户终端接收包括拍摄用户拥有的一个以上的化妆品各自的化妆品容器来生成的一个以上的化妆品各自的化妆品容器图像且请求用于管理皮肤的化妆品分析或者推荐的委托信息，通过基于预设的深度学习(deeplearning)的人工智能分析，分析对应于上述委托信息的用户的皮肤类型，可以根据该皮肤类型提供用于在用户拥有的化妆品中排除不适合用户的商品的信息的同时，提供将用于改善用户皮肤的拥有化妆品作为对象的使用计划表的信息，对此进行详细的说明。43.首先，如图2所示，上述服务提供装置100可以包括：通信部110，其通过通信网络与上述用户终端进行通信；存储部120，其存储各种信息；容器分析部130，其基于深度学习从化妆品容器的化妆品容器图像(以下称为容器图像)识别化妆品；皮肤类型分析部140，其基于深度学习分析皮肤类型；以及控制部160，其执行上述服务提供装置100的整体控制功能。44.此时，上述存储部120可以由db构成。45.并且，还可以构成为上述通信部110、存储部120、容器分析部130、皮肤类型分析部140以及以下说明的学习部150中的至少一个结构部包括在上述控制部。46.并且，上述控制部160使用存储在上述存储部120的程序以及数据执行上述服务提供装置100的整体控制功能，控制部160可以包括ram、rom、cpu、gpu、总线，ram、rom、cpu、gpu等可以通过总线来实现连接。47.基于上述结构，参考图3，说明服务提供装置100的动作示例。48.首先，上述通信部110可以从上述用户终端接收包括拍摄用户使用中的一个以上的化妆品各自的化妆品容器来生成的上述化妆品各自的容器图像的委托信息。49.此时，上述容器图像可以包括对于化妆品容器的标签、化妆品容器的模样、化妆品容器的大小、化妆品容器的颜、化妆品容器的条形码(barcode)等的图像数据。50.并且，上述委托信息可以是用于请求化妆品推荐或者分析的信息。51.并且，上述存储部120可以包括存储互不相同的多个化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息的化妆品db121。52.并且，上述容器分析部130可以构成为包括将上述化妆品的容器图像与对应于上述化妆品的化妆品识别信息相互匹配而学习的第1学习模型。53.此时，上述第1学习模型中，互不相同的多个化妆品各自的容器图像与化妆品识别信息相互匹配并得到学习，从而可以学习上述容器图像与上述化妆品识别信息之间的相关关系。54.因此，上述容器分析部130可以将包括在上述委托信息的上述化妆品各自的容器图像适用于上述第1学习模型，可以通过上述第1学习模型，计算出按照每个容器图像而对应于包括在上述委托信息的容器图像(与容器图像的相关度(相关系数)最高)的化妆品识别信息。55.由此，上述容器分析部130可以通过上述第1学习模型，获得分别与包括在上述委托信息的一个以上的容器图像对应的一个以上的化妆品识别信息。56.并且，上述皮肤类型分析部140可以包括学习构成化妆品的成分与皮肤类型之间的相关关系的第2学习模型。57.此时，上述第2学习模型学习的多个皮肤类型可以设置为如干性(dry)、中性(normal)、油性(oily)、混合性(combination)、敏感性(sensitive)等的各种皮肤类型。58.并且，上述第1学习模型以及第2学习模型可以由深度学习(deeplearning)算法构成，上述深度学习算法可以由一个以上的神经网模型构成。59.并且，本发明中说明的神经网模型(或者神经网)可以由输入层(inputlayer)、一个以上的隐藏层(hiddenlayers)以及输出层(outputlayer)构成，如深度神经网络(deepneuralnetwork，dnn)、循环神经网络(recurrentneuralnetwork，rnn)、卷积神经网络(convolutionalneuralnetwork，cnn)等的多种类型的神经网可以适用于上述神经网模型。60.根据上述结构，上述控制部160在通过上述通信部110接收上述委托信息时，可以通过上述容器分析部130(与上述容器分析部130联动)获得与上述委托信息对应的一个以上的化妆品识别信息。61.并且，上述控制部160基于对应于上述委托信息且通过上述容器分析部130获得的一个以上的化妆品识别信息搜索上述存储部120，从而获得分别与一个以上的上述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息。62.并且，上述控制部160在分别从一个以上的上述拥有化妆品信息中提取一个以上的成分信息后，可以通过与上述皮肤类型分析部140的联动，将提取的一个以上的上述成分信息适用于上述第2学习模型，来计算出对上述用户预测的预料皮肤类型，确定上述预料皮肤类型为用户的皮肤类型。63.并且，上述控制部160可以从上述存储部120提取与上述预料皮肤类型对应的化妆品选择基准的基准信息。64.并且，上述控制部160可以生成基于与上述预料皮肤类型对应的上述基准信息，将分别与上述用户拥有的一个以上的拥有化妆品对应的一个以上的上述拥有化妆品信息分别作为对象，判断是否适合上述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息。65.此时，上述判断结果信息可以在包括一个以上的拥有化妆品信息的同时，包括判断一个以上的上述拥有化妆品信息各自是否适合上述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断信息。66.并且，上述控制部160可以通过上述通信部110将上述判断结果信息发送至上述用户终端。67.根据上述结构，上述用户终端标记从上述服务提供装置100接收的上述判断结果信息，向用户提供包括用户需要避讳的成分的化妆品、不适合用户的皮肤类型的化妆品的信息。68.另一方面，上述控制部160可以基于上述判断结果信息，将一个以上的上述拥有化妆品信息中的适合用户的同时不包括避讳对象成分的化妆品信息设置为使用对象化妆品信息或者推荐化妆品信息。69.并且，上述控制部160可以基于一个以上的上述使用对象化妆品信息各自所包括的用量、使用方法以及与属于其他类别的化妆品的组合使用方法中的至少一个，生成对于一个以上的上述使用对象化妆品信息的使用计划表相关的计划表信息后发送至上述用户终端。70.例如，当基于上述判断结果信息，将合适用户的同时不包括避讳对象成分的洗面奶(cleanser)、眼霜(eyecream)、润肤霜(moisturizer)分别确定为使用对象化妆品时，上述控制部160可以根据该使用对象化妆品各自的化妆品信息中所包括的用量、使用方法以及与属于其他类别的化妆品的组合使用方法，确定一个星期的洗面奶、眼霜以及润肤霜各自的使用量、使用次数、使用周期以及使用顺序，此时，以洗面奶的使用量、使用次数、使用周期以及使用顺序为基准，按照根据洗面奶的化妆品信息中所包括的与眼霜的组合使用方法的预设比例，确定眼霜的使用量、使用次数、使用周期以及使用顺序，从而可以生成上述计划表信息。71.由此，上述控制部160不仅可以自动制作而提供能够有效使用用户拥有的一个以上的使用对象化妆品的计划表，而且还可以提供适合用户皮肤管理的使用对象化妆品各自的使用方法。72.另一方面，可以在上述存储部120存储分别与多个化妆品信息中的至少一个匹配的一个以上的化妆工具信息，上述化妆工具信息可以存储在上述存储部120的化妆品db121。73.因此，上述控制部160基于上述使用对象化妆品信息搜索上述存储部120，如果存在与上述使用对象化妆品信息匹配的特定化妆工具信息，则将上述特定化妆工具信息匹配于上述计划表信息中的与上述特定化妆工具信息匹配的化妆品信息后，包括在上述计划表信息中。74.即，上述控制部160可以给用户推荐适合使用用户的使用对象化妆品的化妆工具。75.通过上述结构，本发明中，可以仅通过拍摄用户拥有的化妆品的容器来识别用户拥有的化妆品，从而可以提高输入用户拥有的化妆品的便利性，并且，通过基于深度学习的人工智能分析用户拥有的化妆品来预测用户的皮肤类型后，根据该预测的皮肤类型，可以在用户拥有的化妆品中自动挑选提供适合用户的皮肤类型的化妆品，因此不仅可以提高对皮肤管理的用户的便利性以及满意度，而且还可以节省选择适合用户的皮肤类型的化妆品时所需的时间和费用。76.另一方面，本发明可以提供如下的商品推荐服务：区分作为特定身体部位发生皮肤过敏且以解决皮肤过敏为目的请求商品推荐的用户的异常发生用户和作为未发生皮肤过敏且不是以解决皮肤过敏为目的而是以推荐如人气多的商品或者新商品的商品为目的请求商品推荐的用户的正常用户，并且，建立如下的学习模型，即通过将拍摄正常用户的特定身体部位的皮肤状态相关图像与正常用户的拥有化妆品匹配而进行学习，来学习按照多种身体部位以及多种皮肤类型的多个正常用户之间的偏爱度高的化妆品，并且，通过该学习模型，向以商品推荐为目的的正常用户推荐人气商品，对于以解决皮肤过敏为目的的异常发生用户，通过上述学习模型计算出具有与该异常发生用户的皮肤状态相似的皮肤状态的同时，未发生皮肤过敏的正常用户偏爱的化妆品目录之后，推荐给上述异常发生用户，从而可以通过一个学习模型来满足推荐能够解决异常发生用户的皮肤过敏的化妆品的互不相同的多个目的，基于上述结构，参考图4，对商品推荐服务进行详细的说明。77.为了上述结构，上述通信部110可以从上述用户终端接收上述委托信息。78.此时，上述委托信息可以包括：包括拍摄发生皮肤过敏的特定身体部位的皮肤状态的第1图像或者拍摄未发生皮肤过敏的上述特定身体部位的皮肤状态的第2图像的同时，包括皮肤过敏发生与否的皮肤状态信息、通过上述用户终端的相机部拍摄使用于上述特定身体部位的一个以上的化妆品各自的容器来生成的上述化妆品各自的容器图像以及对于指代上述特定身体部位的名称的身体部位信息。79.此时，作为上述特定身体部位的示例，可以包括如用户的脸中的面颊(脸颊)或额头、脖子、胳膊、腿等的多种身体部位中的任一个。80.并且，本发明中说明的皮肤过敏(skintrouble)可以包括出现在皮肤的各种异常症状、痘痘、脓肿等。81.作为上述委托信息的生成的示例，上述控制部160可以通过上述通信部110将能够输入用于推荐化妆品的委托信息的用户界面相关数据发送至上述用户终端。82.因此，配置在上述用户终端而执行上述用户终端的整体控制功能的终端控制部可以基于通过配置在上述用户终端的终端通信部从上述服务提供装置100接收的上述用户界面相关数据，通过配置在上述用户终端的显示部来显示用于生成上述委托信息的用户界面。83.并且，上述终端控制部可以将通过配置在上述用户终端的相机部拍摄需要推荐化妆品的上述用户的特定身体部位来生成的特定图像输入至上述用户界面，且可以将通过上述相机部拍摄用户使用于上述特定身体部位的一个以上的拥有化妆品各自的化妆品容器来生成的化妆品各自的容器图像输入至上述用户界面。84.并且，上述终端控制部可以基于通过配置在上述用户终端的输入部输入至上述用户界面的用户输入，将对于上述特定身体部位是否发生皮肤过敏的异常发生与否信息输入至上述用户界面，根据上述异常发生与否信息，当处于上述特定身体部位发生皮肤过敏的状态时，可以将拍摄上述特定身体部位来生成的上述特定图像设置为第1图像，当处于上述特定身体部位未发生皮肤过敏的状态时，可以将上述特定图像设置为第2图像。85.并且，上述终端控制部可以基于通过上述用户界面来实现的用户输入生成对于指代上述特定身体部位的身体部位名称的身体部位信息。86.因此，上述终端控制部可以生成委托信息，其中，上述委托信息包括：包括上述第1图像或者第2图像的同时包括上述异常发生与否信息的皮肤状态信息、包括一个以上的上述化妆品各自的容器图像的化妆品目录信息以及上述身体部位信息等。87.此时，上述终端控制部可以将用于识别上述用户终端的用户的用户识别信息或者终端识别信息包括在上述委托信息中，上述用户识别信息也可以是用户的会员识别信息。88.另一方面，上述服务提供装置100还可以包括：学习部150，其仅将包括对于未发生皮肤过敏的皮肤的上述第2图像的委托信息作为对象，将包括在委托信息的上述第2图像及上述身体部位信息与通过上述容器分析部130以对应于上述委托信息的方式获得的一个以上的化妆品识别信息相匹配后，使预设的第3学习模型进行学习。89.此时，上述服务提供装置100的控制部160或者学习部150可以基于包括在上述委托信息的异常发生与否信息识别包括上述第2图像的委托信息后，使上述学习部150的第3学习模型进行学习。90.并且，与上述第1学习模型及第2学习模型相同地，上述第3学习模型也可以由深度学习算法构成，并且上述第3学习模型可以包括在上述学习部150。91.因此，上述第3学习模型可以学习包括上述第2图像以及身体部位信息的皮肤信息与化妆品识别信息之间的相关关系。92.此时，本发明中说明的化妆品识别信息可以包括如化妆品固有编号、化妆品名称等的用于识别化妆品的多种信息。93.并且，上述控制部160通过通信部110从上述用户终端接收委托信息时，可以将上述委托信息存储在上述存储部120。94.此时，上述存储部120还可以包括存储用户的会员信息的会员db122以及存储上述委托信息的学习db123。95.因此，上述控制部160接收上述委托信息时，可以将上述委托信息存储在上述学习db123，上述学习部150根据上述控制部160的控制，仅将存储在上述学习db123的委托信息中的包括异常发生与否信息(设置有未发生皮肤过敏的皮肤状态)的正常用户的委托信息设置为学习对象，从作为学习对象的委托信息中提取第2图像和身体部位信息来生成皮肤信息，并且可以与上述容器分析部130联动获得对应于作为上述学习对象的委托信息的一个以上的化妆品识别信息后，与上述皮肤信息进行匹配，从而生成学习数据，且可以使上述第3学习模型学习上述学习数据。96.在上述结构中，上述控制部160还可以将上述委托信息与上述会员db122中的与发送上述委托信息的用户终端对应的用户的会员信息进行匹配后积累存储。97.另一方面，当完成上述学习部150(或第3学习模型)的学习时，如果上述控制部160从异常发生用户或正常用户的上述用户终端接收用于请求化妆品推荐的委托信息，则可以与上述学习部150联动，将包括在上述委托信息的上述第1图像及第2图像中的任一个和上述身体部位信息适用于上述第3学习模型。98.即，上述控制部160可以将包括在上述委托信息的上述第1图像及第2图像中的任一个和上述身体部位信息作为输入信息，适用于上述第三学习模型。99.并且，上述控制部160可以通过上述第3学习模型生成输出信息以使其对应于上述输入信息，其中上述输出信息包括预测使用于包括在输入信息的第1图像以及第2图像中的任一个和身体部位信息有关的用户的皮肤类型相似的皮肤类型的一个以上的化妆品各自的化妆品识别信息。100.即，上述第3学习模型可以挑选具有与根据作为输入信息输入的拍摄特定身体部位的皮肤的发生皮肤过敏的第1图像或者未发生皮肤过敏的第2图像的皮肤的皮肤类型相似的上述特定身体部位的皮肤的皮肤类型的学习的图像，可以作为输出信息输出与该学习的图像的相关度高的一个以上的化妆品识别信息。101.此时，上述控制部160可以基于包括在上述输出信息的一个以上的化妆品识别信息搜索上述存储部120，从上述存储部120提取分别与包括在上述输出信息的一个以上的化妆品识别信息对应的一个以上的化妆品信息，可以生成包括基于上述输出信息从上述存储部120中提取的一个以上的化妆品信息的分析结果信息。102.并且，上述控制部160还可以通过确认包括在上述输出信息的一个以上的化妆品识别信息各自的相关系数(该相关系数通过上述第3学习模型计算)，仅选择上述相关系数为预设的基准值以上的一个以上的化妆品识别信息，生成包括分别与基于相关系数从上述输出信息中选择的一个以上的化妆品识别信息对应的一个以上的化妆品信息的分析结果信息。103.此时，当包括在上述分析结果信息的一个以上的化妆品信息中的属于相同类别的化妆品信息为多个时，上述控制部160可以通过确认分别与属于相同类别的多个上述化妆品信息对应的多个化妆品识别信息各自的相关系数，仅将包括在上述分析结果信息的属于相同类别的多个化妆品信息中相关系数最高的化妆品信息包括在上述分析结果信息中，并在上述分析结果信息中删除(排除)剩余的化妆品信息。104.如上所述，如果将从有皮肤过敏的异常发生用户的用户终端接收的上述委托信息中所包括的对于发生皮肤过敏的异常发生用户的皮肤状态的第1图像以及对于出现该皮肤状态的特定身体部位的身体部位信息适用于上述第3学习模型，则上述控制部160可以通过上述第3学习模型计算出分析结果信息，其中，上述分析结果信息包括对与上述特定身体部位发生皮肤过敏的异常发生用户的皮肤类型相似且具有上述特定身体部位未发生皮肤过敏的皮肤状态的其他用户学习的、其他用户偏爱的一个以上的化妆品各自的化妆品信息。105.并且，如果将从没有皮肤过敏的正常用户的用户终端接收的上述委托信息中所包括的对于正常用户的特定身体部位的皮肤状态相关第2图像以及对于该特定身体部位的身体部位信息适用于上述第3学习模型，则上述控制部160可以计算出分析结果信息，其中，上述分析结果信息包括与上述正常用户的皮肤类型相似且具有上述特定身体部位未发生皮肤过敏的皮肤状态的其他用户偏爱的一个以上的化妆品各自的化妆品信息。106.换句话说，上述控制部160通过上述第3学习模型，对于发生皮肤过敏的异常发生用户，可以计算出具有与异常发生用户的皮肤类型相似的皮肤类型但未发生皮肤过敏的正常用户偏爱的化妆品的目录作为分析结果信息，对于未发生皮肤过敏的正常用户，可以计算出用于将具有与正常用户的皮肤类型相似的皮肤类型的其他正常用户偏爱的化妆品推荐给正常用户的目录作为分析结果信息。107.另一方面，如果计算出上述分析结果信息，则上述控制部160可以基于上述分析结果信息生成化妆品推荐信息后，通过上述通信部110发送至上述用户终端。此时，上述控制部160可以通过将包括在上述分析结果信息的一个以上的化妆品信息分别设置为推荐化妆品信息，生成包括一个以上的上述推荐化妆品信息的化妆品推荐信息。108.此时，上述控制部160可以通过上述通信部110将上述分析结果信息作为化妆品推荐信息发送至上述用户终端。109.并且，上述控制部160可以基于上述委托信息并与上述容器分析部130联动生成包括一个以上的拥有化妆品信息的用户的拥有化妆品的拥有目录信息后，与上述分析结果信息进行比较，并且将包括在上述拥有目录信息但不包括在上述分析结果信息的一个以上的化妆品信息分别选择为使用终止对象化妆品，且可以生成包括一个以上的上述使用终止对象化妆品各自的化妆品信息的使用终止建议信息后，将其发送至上述用户终端或者将上述使用终止建议信息包括在发送至上述用户终端的化妆品推荐信息后发送。110.另一方面，上述控制部160可以通过上述通信部110从外部装置接收与从包括上述第2图像的委托信息中提取的上述第2图像对应的一个以上的新化妆品各自的化妆品识别信息的化妆品组合信息，并且可以使上述第3学习模型学习上述第2图像、身体部位信息以及上述化妆品组合信息。111.即，上述控制部160可以向从销售化妆品的管理者的外部装置发送从作为学习对象的委托信息中提取的正常用户的皮肤状态的第2图像，从该管理者的外部装置接收包括作为适合使用于根据上述第2图像的皮肤状态的新商品的一个以上的新化妆品各自的化妆品识别信息的化妆品组合信息，将该化妆品组合信息与上述第2图像以及身体部位信息匹配后，使上述第3学习模型进行学习，从而可以在第3学习模型中反映新化妆品。112.另一方面，上述服务提供装置100可以将化妆品推荐信息发送至用户终端，从用户终端接收化妆品推荐信息中的对于用户使用的化妆品的反馈(feedback)信息，当委托(请求)推荐上述用户的化妆品时，使上述第3学习模型学习上述反馈信息及包括在委托信息而发送的图像，从而使第3学习模型学习对发生皮肤过敏的皮肤状态的效果较好的化妆品，且能够使第3学习模型持续更新多个用户偏爱的化妆品，对此进行详细的说明。113.首先，上述控制部160可以从接收上述化妆品推荐信息的上述用户终端接收包括上述推荐信息中所包括的推荐化妆品中的上述用户使用的一个以上的使用化妆品各自的化妆品识别信息的反馈信息。114.此时，反馈信息可以包括用户识别信息(或者终端识别信息)、用于识别对应于反馈信息的委托信息的附加信息等。115.并且，上述控制部160可以在上述会员db122中确认对应于上述反馈信息的委托信息，且可以从对应于上述反馈信息的委托信息中提取上述第1图像或者第2图像和身体部位信息后，与上述反馈信息中所包括的一个以上的使用化妆品各自的化妆品识别信息进行匹配，从而生成学习数据，可以通过与学习部150的联动，使上述第3学习模型学习以对应于上述反馈信息的方式生成的学习数据。116.此时，上述控制部160确认根据上述反馈信息的推荐分数，只有在推荐分数为预设的基准值以上的情况下，基于上述反馈信息生成学习数据后，使上述第3学习模型进行学习。117.由此，上述控制部160使第3学习模型学习发生皮肤过敏的用户的第1图像，对于发生皮肤过敏的皮肤的第1图像，只有存在对皮肤过敏的效果较好的化妆品时，将该化妆品识别信息与第1图像匹配并进行学习，从而，后续向发生皮肤过敏的其他用户推荐化妆品时，准确地掌握具有与发生皮肤过敏的其他用户的皮肤状态以及皮肤类型相似的皮肤，且发生皮肤过敏的异常发生用户，将该异常发生用户推荐的化妆品推荐给其他用户，从而能够使第3学习模型发展成具有其他用户的皮肤过敏解决功能。118.另一方面，在上述结构中，上述控制部160可以将对应于上述委托信息的一个以上的拥有化妆品信息与对应于上述用户终端的用户的会员信息进行匹配后，积累存储在上述存储到部120的会员db122。119.因此，上述控制部160基于积累存储的上述拥有化妆品信息生成用户的偏爱信息，当生成上述化妆品推荐信息时，可以通过反映上述偏爱信息来选择将要包括在上述化妆品推荐信息的一个以上的推荐化妆品。120.此时，上述偏爱信息可以按照化妆品类别包括用户偏爱的品牌、价格以及成分中的至少一个。121.如上所述，本发明中，将请求用于管理皮肤的推荐化妆品的用户区分为发生皮肤过敏的异常发生用户和未发生皮肤过敏的正常用户，首先，使用正常用户的皮肤状态的图像和拥有的化妆品来使学习模型学习，然后通过该学习模型将具有与异常发生用户相似的皮肤类型的正常用户偏爱的化妆品推荐给异常发生用户，诱导异常发生用户使用具有与自己相似的皮肤类型的正常用户的偏爱化妆品，从而可以支持改善异常发生用户的皮肤过敏，当后续推荐的化妆品具有改善皮肤过敏的效果时，从异常发生用户接收反馈信息，使学习模型学习用于改善关于异常发生用户首次发送的发生皮肤过敏的图像和反馈信息的皮肤过敏的推荐化妆品，从而，对于发生皮肤过敏而请求推荐化妆品的新用户，可以基于学习模型更加准确地挑选经历过与新用户相似的皮肤过敏的经历者后将该经历者推荐的化妆品推荐给新用户，由此可以增加推荐能够改善皮肤过敏的化妆品的准确度及可靠度。122.另外，本发明中，对于未发生皮肤过敏的正常用户的化妆品推荐请求，通过学习模型推荐具有与正常用户相似的皮肤类型的其他正常用户最偏爱的化妆品，从而，对于未发生皮肤过敏的用户，也支持推荐对用户的皮肤改善反映多个用户意见的化妆品，由此，可以提供能够同时满足有皮肤过敏的用户和没有皮肤过敏的用户的化妆品推荐功能。123.图5是根据本发明的实施例的服务提供装置100的基于图像分析的皮肤管理服务提供方法的流程图。124.首先，服务提供装置100可以从用户终端接收包括拍摄使用中的一个以上的化妆品各自的容器的上述化妆品各自的容器图像的委托信息(s1)。125.并且，上述服务提供装置100可以通过将包括在上述委托信息的上述化妆品各自的容器图像适用于以学习上述化妆品的容器图像与对应于上述化妆品的化妆品识别信息之间的相关关系的方式预设的第1学习模型，来获得与上述委托信息对应的一个以上的化妆品识别信息(s2)。126.并且，上述服务提供装置100可以基于一个以上的上述化妆品识别信息搜索存储有互不相同的多个化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息的上述服务提供装置100的存储部120，从而获得分别与一个以上的上述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息(s3)。127.并且，上述服务提供装置100可以在分别从一个以上的上述拥有化妆品信息中提取成分信息后，将提取的一个以上的上述成分信息适用于学习构成化妆品的成分与皮肤类型之间的相关关系的第2学习模型，来确定对上述用户预测的预料皮肤类型(s4)。128.并且，上述服务提供装置100可以生成基于与上述预料皮肤类型对应的上述基准信息，判断一个以上的上述拥有化妆品信息各自是否适合上述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息后，提供给上述用户终端(s5)。129.在本发明的实施例中说明的结构要素能够利用一个以上的通用计算机或者特殊目的计算机来实现，诸如存储器等的存储部120、处理器、控制器、算术逻辑单元(arithmeticlogicunit，alu)，数字信号处理器(digitalsignalprocessor)、微型计算机、现场可编程阵列(fieldprogrammablearray，fpa)、可编程逻辑单元(programmablelogicunit，plu)、微处理器等的硬件、包括指令组的软件以及它们的组合或者能够执行并响应指令(instruction)的其他任何装置。130.本领域技术人员能够在不脱离本发明的本质特性的前提下，对上述内容进行修改和变形。因此，本发明中公开的实施例并不是用于限定本发明的技术思想，而是用于对其进行说明，并且本发明的技术思想的范围并不会被上述实施例所限定。本发明的保护范围由权利要求书来确定，并且，应解释为与之等同的范围的所有技术思想均包括在本发明的权利要求范围内。当前第1页12当前第1页12

技术特征：

1.一种基于图像分析的皮肤管理服务提供装置，其特征在于，包括：通信部，其从用户终端接收包括拍摄使用中的一个以上的化妆品各自的容器的所述化妆品各自的容器图像的委托信息；存储部，其存储互不相同的多个化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息；容器分析部，其通过将包括在所述委托信息的所述化妆品各自的容器图像适用于以学习所述化妆品的容器图像与对应于所述化妆品的化妆品识别信息之间的相关关系的方式预设的第1学习模型，来获得与所述委托信息对应的一个以上的化妆品识别信息；皮肤类型分析部，其包括学习构成化妆品的成分与皮肤类型之间的相关关系的第2学习模型；以及控制部，其在通过所述通信部接收所述委托信息时，通过所述容器分析部获得与所述委托信息对应的一个以上的化妆品识别信息，基于获得的一个以上的所述化妆品识别信息搜索所述存储部，获得分别与获得的一个以上的所述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息，在分别从一个以上的所述拥有化妆品信息中提取成分信息后，通过与所述皮肤类型分析部的联动，将提取的一个以上的所述成分信息适用于所述第2学习模型，来确定对所述用户预测的预料皮肤类型，并将基于与所述预料皮肤类型对应的所述基准信息，判断一个以上的所述拥有化妆品信息各自是否适合所述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息提供给所述用户终端。2.根据权利要求1所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述控制部基于所述判断结果信息，将一个以上的所述拥有化妆品信息中的适合用户的同时不包括避讳对象成分的化妆品信息设置为使用对象化妆品信息，基于一个以上的所述使用对象化妆品信息各自所包括的用量、使用方法以及与属于其他类别的化妆品的组合使用方法中的至少一个，生成对于一个以上的所述使用对象化妆品信息的使用计划表相关的计划表信息后发送至所述用户终端。3.根据权利要求1所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述存储部存储分别与多个化妆品信息中的至少一个匹配的一个以上的化妆工具信息，所述控制部基于所述使用对象化妆品信息搜索所述存储部，如果存在与所述使用对象化妆品信息匹配的特定化妆工具信息，则将所述特定化妆工具信息匹配于所述计划表信息中的与所述特定化妆工具信息匹配的化妆品信息后包括在所述计划表信息中。4.根据权利要求1所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述委托信息包括：皮肤状态信息、拍摄使用于特定身体部位的一个以上的化妆品各自的容器的所述化妆品各自的容器图像以及对于指代所述特定身体部位的名称的身体部位信息，其中，所述皮肤状态信息包括拍摄发生皮肤过敏的特定身体部位的皮肤状态的第1图像或者拍摄未发生皮肤过敏的所述特定身体部位的皮肤状态的第2图像的同时，包括皮肤过敏发生与否，所述基于图像分析的皮肤管理服务提供装置还包括：学习部，其仅将包括所述第2图像的委托信息作为对象，将所述第2图像以及所述身体部位信息与通过所述容器分析部获得的一个以上的化妆品识别信息相匹配后，使预设的第3学习模型进行学习，
当接收所述委托信息时，所述控制部与所述学习部联动，将包括在所述委托信息的所述第1图像以及第2图像中的任一个和所述身体部位信息适用于所述第3学习模型，由此通过所述第3学习模型，计算出包括预测使用于与用户的皮肤类型相似的皮肤类型的一个以上的化妆品各自的化妆品识别信息的输出信息，基于包括在所述输出信息的一个以上的化妆品识别信息搜索所述存储部，来生成包括与所述输出信息对应的一个以上的化妆品信息的化妆品推荐信息后发送至所述用户终端。5.根据权利要求4所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述控制部通过所述通信部接收与包括所述第2图像的委托信息中提取的所述第2图像对应的一个以上的新化妆品的化妆品组合信息，并将与所述第2图像对应的从委托信息中提取的身体部位信息与所述第2图像以及所述化妆品组合信息相匹配后，使所述第3学习模型进行学习。6.根据权利要求4所述的基于图像分析的皮肤管理服务提供装置，其特征在于，如果所述控制部从接收所述化妆品推荐信息的所述用户终端中接收包括所述化妆品推荐信息中所包括的推荐化妆品中的所述用户使用的一个以上的使用化妆品各自的化妆品识别信息的反馈信息，则从与所述反馈信息对应的委托信息中提取所述第1图像或者第2图像和身体部位信息后，与包括在所述反馈信息的使用化妆品各自的化妆品识别信息进行匹配来生成学习数据，并与所述学习部联动，使所述第3学习模型学习与所述反馈信息对应的所述学习数据。7.根据权利要求6所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述控制部确认根据所述反馈信息的推荐分数，只有在推荐分数为预设的基准值以上的情况下，基于所述反馈信息生成所述学习数据后，使所述第3学习模型进行学习。8.根据权利要求4所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述控制部将对应于所述委托信息的一个以上的拥有化妆品信息与对应于所述用户终端的用户的会员信息进行匹配后积累存储在所述存储部，基于积累存储的所述拥有化妆品信息生成所述用户的偏爱信息，当生成所述化妆品推荐信息时，通过反映所述偏爱信息来选择将要包括在所述化妆品推荐信息的一个以上的推荐化妆品。9.根据权利要求8所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述偏爱信息按照化妆品类别包括用户偏爱的品牌、价格以及成分中的至少一个。10.根据权利要求1所述的基于图像分析的皮肤管理服务提供装置，其特征在于，所述容器图像包括对于化妆品容器的标签、化妆品容器的模样、化妆品容器的大小、化妆品容器的颜以及化妆品容器的条形码中的至少一个的图像数据。11.一种基于图像分析的皮肤管理服务提供方法，其特征在于，包括：服务提供装置从用户终端接收包括拍摄使用中的一个以上的化妆品各自的容器的所述化妆品各自的容器图像的委托信息的步骤；所述服务提供装置通过将包括在所述委托信息的所述化妆品各自的容器图像适用于以学习所述化妆品的容器图像与对应于所述化妆品的化妆品识别信息之间的相关关系的方式预设的第1学习模型，来获得与所述委托信息对应的一个以上的化妆品识别信息的步骤；所述服务提供装置基于一个以上的所述化妆品识别信息搜索存储有互不相同的多个
化妆品各自的化妆品信息和互不相同的多个皮肤类型各自的化妆品选择基准的基准信息的所述服务提供装置的存储部，从而获得分别与一个以上的所述化妆品识别信息对应的一个以上的化妆品信息，分别作为用户的拥有化妆品信息的步骤；所述服务提供装置在分别从一个以上的所述拥有化妆品信息中提取成分信息后，将提取的一个以上的所述成分信息适用于以学习构成化妆品的成分与皮肤类型之间的相关关系的方式预设的第2学习模型，来确定对所述用户预测的预料皮肤类型的步骤；以及所述服务提供装置生成基于与所述预料皮肤类型对应的所述基准信息，判断一个以上的所述拥有化妆品信息各自是否适合所述预料皮肤类型及是否包括需要避讳的避讳对象成分信息的判断结果信息后，提供给所述用户终端的步骤。

技术总结

本发明涉及基于图像分析的皮肤管理服务提供装置及方法，更详细地，基于深度学习分析用相机拍摄化妆品的容器来获得的图像，从而识别使用中的化妆品，基于深度学习分析使用中的化妆品来预测用户的皮肤类型后，推荐适合用户的皮肤类型的化妆品。本发明可以仅通过拍摄用户拥有的化妆品的容器来识别用户拥有的化妆品，从而可以提高输入用户拥有的化妆品的便利性，通过基于深度学习的人工智能分析用户拥有的化妆品来预测用户的皮肤类型后，根据该预测的皮肤类型，可以在用户拥有的化妆品中自动挑选提供适合用户的皮肤类型的化妆品，因此不仅可以提高对皮肤管理的用户的便利性及满意度，还可以节省选择适合用户的皮肤类型的化妆品时所需的时间和费用。时所需的时间和费用。时所需的时间和费用。