一种身体部位识别方法、装置、电子设备及存储介质与流程



1.本发明涉及计算机技术领域,具体涉及一种身体部位识别方法、装置、电子设备及存储介质。


背景技术:



2.在计算机视觉领域中,需要大量经过标注处理的训练数据做算法训练支撑,训练数据的数量决定着算法模型的处理精度。
3.目前,针对人体的身体部位识别技术主要有两种思路:一种是利用检测模型,需要用标注框对图像中的身体部位进行标注来训练模型;另一种是利用分割模型,需要用全像素语义分割标注图像中的身体部位来训练模型。
4.但是,上述两种技术思路,对图像标注的要求都比较高,需要比较准确的对大量图像中的身体部位进行标注,这样每一张图都需要花费很多时间来标注,严重影响了深度学习算法进行研究训练,以及进入实际应用的效率。


技术实现要素:



5.本发明的目的是针对上述现有技术的不足提出的一种身体部位识别方法、装置、电子设备及存储介质,该目的是通过以下技术方案实现的。
6.本发明的第一方面提出了一种身体部位识别方法,所述方法包括:
7.通过单点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别;
8.利用标注后的训练图像对分类模型进行训练;
9.将获取到的待处理图像输入已训练的分类模型,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。
10.在本技术的一些实施例中,所述通过点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别,包括:
11.收集不同场景下的训练图像;识别每张训练图像包含的预设类别身体部位的位置;在每张训练图像中利用单点标注识别到的各个预设类别身体部位的位置,并标记该点所指示的身体部位类别。
12.在本技术的一些实施例中,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果,包括:
13.通过所述分类模型包含的主干卷积网络对所述待处理图像进行处理,以得到图像的特征向量,并将所述特征向量输入至所述分类模型包含的时序注意力模块;通过所述时序注意力模块对所述特征向量的特征关系进行分析,并将分析结果输入至所述分类模型包含的输出层;通过所述输出层基于所述分析结果获得各预设类别身体部位的识别结果。
14.在本技术的一些实施例中,所述通过所述分类模型中的主干卷积网络对所述待处理图像进行处理,以得到图像的特征向量,包括:
15.通过所述主干卷积网络包含的堆叠式卷积模块提取所述待处理图像的特征图,并
将所述特征图输入至所述主干卷积网络包含的池化层;通过所述池化层对所述特征图进行池化处理并输出至所述主干卷积网络包含的分类层;通过所述分类层对池化处理后的特征图进行分类处理,以得到预设维度的特征向量。
16.在本技术的一些实施例中,所述预设维度为分类模型的分类类别数。
17.在本技术的一些实施例中,所述通过所述时序注意力模块对所述特征向量的特征关系进行分析,包括:通过长短期记忆lstm网络对所述特征向量的特征关系进行分析。
18.在本技术的一些实施例中,所述通过长短期记忆lstm网络对所述特征向量的特征关系进行分析,包括:
19.通过所述lstm网络中的遗忘门层根据所述特征向量获得遗忘权重,并利用所述遗忘权重与第一神经元状态进行逐元素乘法运算,得到第二神经元状态;通过所述lstm网络中的输入门层根据所述特征向量获得输入权重,并利用所述输入权重与所述第二神经元状态进行逐元素加法运算,得到第三神经元状态;通过所述lstm网络中的输出门层根据所述特征向量获得输出权重,并对所述第三神经元状态进行激活操作后与所述输出权重进行逐元素乘法运算,并将运算结果作为输出。
20.在本技术的一些实施例中,所述方法还包括待处理图像的获取过程:
21.接收来自客户端的识别请求;根据所述识别请求中携带的图像存储路径读取待处理图像。
22.本发明的第二方面提出了一种身体部位识别装置,所述装置包括:
23.数据标注模块,用于通过单点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别;
24.模型训练模块,用于利用标注后的训练图像对分类模型进行训练;
25.模型应用模块,用于将获取到的待处理图像输入已训练的分类模型,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。
26.本发明的第三方面提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面所述方法的步骤。
27.本发明的第四方面提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述第一方面所述方法的步骤。
28.基于上述第一方面和第二方面所述的身体部位识别方法及装置,本发明至少具有如下有益效果或优点:
29.本发明通过使用深度学习中的分类模型来解决图像中的身体部位识别问题,对模型训练数据格式的要求比较简单,即通过采用单点标注方式,只需简单在图像中的对应身体部位上标注一个点即可,相对现有技术中标注框方式或全像素语义标注方式,这样可以降低标注的工作量,缩短前期准备训练数据的标注时间,进而推动模型的训练和后续应用,并且在图像中包含较多身体部位需要标注时,这种单点标注方式能够很好提高标注效率,加速训练数据的生成。
30.进一步地,本发明使用分类模型进行身体部位识别,相对于现有技术使用的检测模型或分割模型,模型体积更小,对系统内存、显存资源占用更少,从而模型推理的效率会更高。
附图说明
31.此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
32.图1a为现有技术中用于训练分割模型的图像标注前后对比示意图;
33.图1b为现有技术中用于训练检测模型的图像标注前后对比示意图;
34.图2a为本发明根据一示例性实施例示出的一种身体部位识别方法的实施例流程图;
35.图2b为本发明根据图2a所示实施例示出的通过单点标注方式获得的标注后的图像;
36.图3a为本发明根据一示例性实施例示出的一种分类模型的识别流程示意图;
37.图3b为本发明示出的一种分类模型的结构示意图;
38.图3c为本发明示出的一种lstm网络的结构示意图;
39.图4为本发明根据一示例性实施例示出的一种身体部位识别装置的结构示意图;
40.图5为本发明根据一示例性实施例示出的一种电子设备的硬件结构示意图图;
41.图6为本发明根据一示例性实施例示出的一种存储介质的结构示意图。
具体实施方式
42.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
43.在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
44.应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
45.参见图1a所示,对于分割模型的训练数据生成,需要用全像素标注方式,对图像中人体的各个身体部位进行语义标注,由图1a中标注后的图像可以看出,需要比较精确的标注人体的每个像素的语义。
46.参见图1b所示,对于检测模型的训练数据生成,需要用标注框方式,对图像中人体的每个身体部位进行框选,如图1b中标注了头、手、手臂、臀部、腿部、脚等六个框,如果身体部位区分更加精细的话,需要标注更多的框。
47.由此可见,无论是使用检测模型进行身体部位识别,还是使用分割模型进行身体部位识别,对训练图像数据的标注,都是一项非常繁琐耗时的工作,严重影响了深度学习算法进入实际应用阶段的效率。
48.为解决上述技术问题,本发明提出了一种改进的身体部位识别方法,即通过单点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别,并利用标注后的训练图像对分类模型进行训练,从而后续可以将获取到的待处理图像输入训练后的分类模型,由分类模型对待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。
49.基于上述描述可达到的技术效果有:
50.本发明通过使用深度学习中的分类模型来解决图像中的身体部位识别问题,对模型训练数据格式的要求比较简单,即通过采用单点标注方式,只需简单在图像中的对应身体部位上标注一个点即可,相对现有技术中标注框方式或全像素语义标注方式,这样可以降低标注的工作量,缩短前期准备训练数据的标注时间,进而推动模型的训练和后续应用,并且在图像中包含较多身体部位需要标注时,这种单点标注方式能够很好提高标注效率,加速训练数据的生成。例如在进行医美手术或者非手术后效果图片回传时,可以利用本方案进行图片快速筛选,将图片输入模型后,只需根据模型输出判断是否有相应的身体部位即可实现筛选,快速剔除上传的图片是风景、衣物、物品等干扰图片。
51.进一步地,本发明使用分类模型进行身体部位识别,相对于现有技术使用的检测模型或分割模型,模型体积更小,对系统内存、显存资源占用更少,从而模型推理的效率会更高。
52.为了使本领域技术人员更好的理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
53.实施例一:
54.图2a为本发明根据一示例性实施例示出的一种身体部位识别方法的实施例流程图,如图2a所示,该身体部位识别方法包括如下步骤:
55.步骤201:通过单点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别。
56.其中,单点标注方式指的是在训练图像中的对应身体部位上标注点,并标记出这个点所指示的部位类别。
57.在本实施例中,需要标注的身体部位类别包括18类标签,分别为:头部、眼睛、鼻子、眉毛、嘴唇、耳朵、侧脸、头发、牙齿、颈部、手臂、手、胸部、腹部、臀部、腿部、脚、额头。当然还可以增加一类环境类别标签,即对于没有人体或者人体占比很小的图像,环境类别标签为1,对于有人体的图像,环境类别标签为0。
58.如图2b所示,在训练图像中用单点标注出了头、手臂、手、臀部、腿部、脚这六类身体部位,也即这六类身体部位的类别标签为1,其他类别标签为0。
59.在一可选的具体实施方式中,针对单点标注方式的标注过程,为了提升模型的泛化能力,通过收集来自不同场景下的训练图像,例如自拍场景下的图像、没有人体的环境图像、侧面拍摄场景下的图像、以及全身拍摄场景下的图像等。
60.为了降低单纯依靠人工标注的工作量,收集到训练图像后,识别每张训练图像包含的预设类别身体部位的位置,进而在每张训练图像中利用单点自动标注识别到的各个预设类别身体部位的位置,并标记该点所指示的身体部位类别,以进一步提升标注效率。
61.需要说明的是,针对训练图像包含的预设类别身体部位的位置的识别,可以通过将训练图像输入预训练分类模型,由预训练分类模型识别该训练图像包含的预设类别身体
部位的位置,由于预训练分类模型是未经过训练的模型,其识别出的身体部位的位置的准确率不太高,因此由上述过程获得的标注后的训练图像只是粗略的用点标注出了图像中的身体部位,还需要进一步对训练图像中的标注点进行修正,以提升后续训练模型的精确度。
62.步骤202:利用标注后的训练图像对分类模型进行训练。
63.在一些可选实施例中,在训练前,需要搭建分类模型,在模型的主干结构上采用堆叠式的卷积模块提取图像特征,最后在模型的输出位置增加时序注意力模块对输入特征进行分析,以增加输入特征前后数据之间的联系,增强模型的表达能力,进而达到优化模型输出结果的目的。
64.针对分类模型具体结构的介绍,可以参见下述实施例的相关描述,本发明在此暂不详述。
65.需要说明的是,上述步骤201至步骤202的过程属于模型训练过程,经过训练后的分类模型可以部署到任意设备上,以解决实际应用中输入图像身体部位识别问题。
66.步骤203:将获取到的待处理图像输入训练后的分类模型,由该分类模型对待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。
67.在执行步骤203之前,可以接收来自客户端的识别请求,进而根据识别请求中携带的图像存储路径读取待处理图像。
68.其中,客户端需要识别身体部位时,会将图像上传服务器,并接收服务器返回的图像存储路径。
69.需要说明的是,步骤203的过程属于模型应用过程,可以用来解决实际应用中输入图像身体部位识别问题。
70.针对步骤203中,分类模型对待处理图像的分类识别过程,可以参见下述实施例的相关描述,本发明在此暂不详述。
71.由上述步骤201至步骤203的描述可知,采用本方案的分类模型可以识别出图片中有哪些身体部位。
72.在一示例性场景中,在进行app首页图片筛选时,将每张图片输入分类模型,由分类模型输出每张图片中各身体部位的识别结果,根据每张图片的身体部位识别结果,可以判断出是否有需要的身体部位(如脸部),从而筛选出有脸部的图片,将没有脸部的图片丢掉。
73.至此,完成上述图2a所示的识别流程,本发明通过使用深度学习中的分类模型来解决图像中的身体部位识别问题,对模型训练数据格式的要求比较简单,即通过采用单点标注方式,只需简单在图像中的对应身体部位上标注一个点即可,相对现有技术中标注框方式或全像素语义标注方式,这样可以降低标注的工作量,缩短前期准备训练数据的标注时间,进而推动模型的训练和后续应用,并且在图像中包含较多身体部位需要标注时,这种单点标注方式能够很好提高标注效率,加速训练数据的生成。
74.进一步地,本发明使用分类模型进行身体部位识别,相对于现有技术使用的检测模型或分割模型,模型体积更小,对系统内存、显存资源占用更少,从而模型推理的效率会更高。
75.实施例二:
76.图3a为本发明根据一示例性实施例示出的一种分类模型的识别流程示意图,基于
上述图2a所示实施例的基础上,下面结合图3b所示的分类模型结构对分类模型的识别过程进行详细说明,如图3b所示,分类模型包括主干卷积网络10、时序注意力模块20、以及输出层30。如图3a所示,所述分类模型的识别流程包括如下步骤:
77.步骤301:通过分类模型包含的主干卷积网络对待处理图像进行处理,以得到图像的特征向量,并将所述特征向量输入至分类模型包含的时序注意力模块。
78.在一可选的具体实施例中,主干卷积网络的处理过程包括:通过主干卷积网络包含的堆叠式卷积模块提取待处理图像的特征图,并将特征图输入至主干卷积网络包含的池化层,然后通过池化层对所述特征图进行池化处理并输出至主干卷积网络包含的分类层,最后通过分类层对池化处理后的特征图进行分类处理,以得到预设维度的特征向量。
79.在具体实施时,如图3b所示,主干卷积网络10可以采用efficientnet模型结构,由9个卷积模块堆叠(包括1个conv3
×
3、6个mbconv模块、1个conv1
×
1)、1个池化层(pooling)、1个分类层(fc)组成。该网络模型采用一个简单高效的复合缩放方法,使用一组固定的缩放系数统一缩放网络深度(即网络层数)、宽度(即网络层的通道数)和分辨率(即输入图像分辨率),通过实现网络深度、宽度和分辨率之间的平衡来获得更好的精度。
80.其中,分类层最终输出的预设维度指的是分类模型的分类类别数,也即在标注过程中,需要标注的类别标签数。
81.基于上述步骤201描述可知,分类模型的分类类别数为19类,因此主干卷积网络输出的特征向量应该是一个19维度的向量,其中的每一维度向量值代表一种分类类别值。
82.步骤302:通过时序注意力模块对所述特征向量的特征关系进行分析,并将分析结果输入至分类模型包含的输出层。
83.在一可选的具体实施例中,时序注意力模块可以采用lstm(long short-term memory,长短期记忆)网络获取时序方向的信息,加强特征之间的联系,相互促进融合,以提高模型的精度与泛化能力。
84.如图3c所示,针对采用lstm网络对输入特征向量的分析过程包括:通过lstm网络中的遗忘门层根据所述特征向量x
t
获得遗忘权重,并利用遗忘权重与第一神经元状态c
t-1
进行逐元素乘法运算,得到第二神经元状态,然后通过lstm网络中的输入门层根据所述特征向量获得输入权重,并利用输入权重与第二神经元状态进行逐元素加法运算,得到第三神经元状态c
t
,最后通过lstm网络中的输出门层根据所述特征向量获得输出权重,并对第三神经元状态进行激活操作后与所述输出权重进行逐元素乘法运算,并将运算结果a
t
作为输出。
85.其中,第一神经元状态c
t-1
在模型训练结束后特征值固定。
86.下面对lstm网络中三个权重的计算过程进行说明:
87.遗忘权重f
t
计算公式如下:
88.f
t
=σ(wf·
[a
t-1
,x
t
]+bf)
[0089]
其中,σ()表示σ激活函数;wf表示模型参数;a
t-1
表示前一时刻的输出信息,在模型训练结束后,a
t-1
固定;x
t
表示输入特征向量;bf表示模型参数。
[0090]
输入权重fi计算公式如下:
[0091]fi
=[σ(wi·
[a
t-1
,x
t
]+bi)]
·
[tanh(wc·
[a
t-1
,x
t
]+bc)]
[0092]
其中,σ()表示σ激活函数;wi、wc、bi、bc均表示模型参数;a
t-1
表示前一时刻的输出
信息,在模型训练结束后,a
t-1
固定;x
t
表示输入特征向量;tanh()表示tanh激活函数。
[0093]
输出权重fo计算公式如下:
[0094]fo
=σ(wo[a
t-1
,x
t
]+b0)
[0095]
其中,σ()表示σ激活函数;wo、b0均表示模型参数;a
t-1
表示前一时刻的输出信息,在模型训练结束后,a
t-1
固定;x
t
表示输入特征向量。
[0096]
基于上述步骤301描述可知,输入lstm网络的x
t
是一个19维的特征向量,该特征向量在lstm网络中经过一系列门(包括遗忘门、输入门、输出门)的处理后,输出的仍然是一个19维的特征向量,只是lstm网络输出的19维特征向量与输入lstm网络的19维特征向量之间的相应维度的向量值有所变化,这些变化可以提升分类模型的分类精度。
[0097]
步骤303:通过输出层基于所述分析结果获得各预设类别身体部位的识别结果。
[0098]
可选的,输出层可以采用softmax层对每一维向量值进行判断,以获得相应类身体部位的最终识别结果。
[0099]
至此,完成上述图3a所示的识别流程,通过在分类模型的输出位置进行改进优化,即增加时序注意力模块,增强了特征之间的联系,可以提高单纯使用主干卷积网络的分类准确率。
[0100]
与前述身体部位识别方法的实施例相对应,本发明还提供了身体部位识别装置的实施例。
[0101]
图4为本发明根据一示例性实施例示出的一种身体部位识别装置的实施例流程图,该装置用于执行上述任一实施例提供的身体部位识别方法,如图4所示,该身体部位识别装置包括:
[0102]
数据标注模块410,用于通过点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别;
[0103]
模型训练模块420,用于利用标注后的训练图像对分类模型进行训练;
[0104]
模型应用模块430,用于将获取到的待处理图像输入已训练的分类模型,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。
[0105]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
[0106]
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0107]
本发明实施方式还提供一种与前述实施方式所提供的身体部位识别方法对应的电子设备,以执行上述身体部位识别方法。
[0108]
图5为本发明根据一示例性实施例示出的一种电子设备的硬件结构图,该电子设备包括:通信接口601、处理器602、存储器603和总线604;其中,通信接口601、处理器602和存储器603通过总线604完成相互间的通信。处理器602通过读取并执行存储器603中与身体部位识别方法的控制逻辑对应的机器可执行指令,可执行上文描述的身体部位识别方法,
该方法的具体内容参见上述实施例,此处不再累述。
[0109]
本发明中提到的存储器603可以是任何电子、磁性、光学或其它物理存储装置,可以包含存储信息,如可执行指令、数据等等。具体地,存储器603可以是ram(random access memory,随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。通过至少一个通信接口601(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
[0110]
总线604可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器603用于存储程序,所述处理器602在接收到执行指令后,执行所述程序。
[0111]
处理器602可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器602可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。
[0112]
本技术实施例提供的电子设备与本技术实施例提供的身体部位识别方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
[0113]
本技术实施方式还提供一种与前述实施方式所提供的身体部位识别方法对应的计算机可读存储介质,请参考图6所示,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的身体部位识别方法。
[0114]
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
[0115]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的身体部位识别方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0116]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
[0117]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0118]
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

技术特征:


1.一种身体部位识别方法,其特征在于,所述方法包括:通过单点标注方式,标注每张训练图像中预设类别身体部位并标记部位类别;利用标注后的训练图像对分类模型进行训练;将获取到的待处理图像输入训练后的分类模型,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。2.根据权利要求1所述的方法,其特征在于,所述通过单点标注方式,标注每张训练图像中的预设类别身体部位并标记部位类别,包括:收集不同场景下的训练图像;识别每张训练图像包含的预设类别身体部位的位置;在每张训练图像中利用单点标注识别到的各个预设类别身体部位的位置,并标记该点所指示的身体部位类别。3.根据权利要求1所述的方法,其特征在于,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果,包括:通过所述分类模型包含的主干卷积网络对所述待处理图像进行处理,以得到图像的特征向量,并将所述特征向量输入至所述分类模型包含的时序注意力模块;通过所述时序注意力模块对所述特征向量的特征关系进行分析,并将分析结果输入至所述分类模型包含的输出层;通过所述输出层基于所述分析结果获得各预设类别身体部位的识别结果。4.根据权利要求3所述的方法,其特征在于,所述通过所述分类模型中的主干卷积网络对所述待处理图像进行处理,以得到图像的特征向量,包括:通过所述主干卷积网络包含的堆叠式卷积模块提取所述待处理图像的特征图,并将所述特征图输入至所述主干卷积网络包含的池化层;通过所述池化层对所述特征图进行池化处理并输出至所述主干卷积网络包含的分类层;通过所述分类层对池化处理后的特征图进行分类处理,以得到预设维度的特征向量。5.根据权利要求4所述的方法,其特征在于,所述预设维度为分类模型的分类类别数。6.根据权利要求3所述的方法,其特征在于,所述通过所述时序注意力模块对所述特征向量的特征关系进行分析,包括:通过长短期记忆lstm网络对所述特征向量的特征关系进行分析。7.根据权利要求6所述的方法,其特征在于,所述通过长短期记忆lstm网络对所述特征向量的特征关系进行分析,包括:通过所述lstm网络中的遗忘门层根据所述特征向量获得遗忘权重,并利用所述遗忘权重与第一神经元状态进行逐元素乘法运算,得到第二神经元状态;通过所述lstm网络中的输入门层根据所述特征向量获得输入权重,并利用所述输入权重与所述第二神经元状态进行逐元素加法运算,得到第三神经元状态;通过所述lstm网络中的输出门层根据所述特征向量获得输出权重,并对所述第三神经元状态进行激活操作后与所述输出权重进行逐元素乘法运算,并将运算结果作为输出。8.根据权利要求1所述的方法,其特征在于,所述方法还包括待处理图像的获取过程:接收来自客户端的识别请求;
根据所述识别请求中携带的图像存储路径读取待处理图像。9.一种身体部位识别装置,其特征在于,所述装置包括:数据标注模块,用于通过单点标注方式,标注每张训练图像中预设类别的身体部位并标记部位类别;模型训练模块,用于利用标注后的训练图像对分类模型进行训练;模型应用模块,用于将获取到的待处理图像输入已训练的分类模型,由所述分类模型对所述待处理图像进行分类识别,并输出各预设类别身体部位的识别结果。10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8任一项所述方法的步骤。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。

技术总结


本发明公开了一种身体部位识别方法、装置、电子设备及存储介质,方法包括:通过单点标注方式标注每张训练图像中预设类别身体部位并标记部位类别;利用标注后的训练图像对分类模型进行训练;将获取到的待处理图像输入训练后的分类模型,由分类模型对待处理图像进行分类识别并输出各预设类别身体部位的识别结果。通过使用分类模型来解决图像中的身体部位识别问题,对模型训练数据格式的要求比较简单,即只需简单在图像中的对应身体部位上标注一个点,相对现有技术中标注框方式或全像素标注方式,可以降低标注工作量,缩短前期准备训练数据的标注时间,推动模型的训练和后续应用,并且在图像包含较多身体部位时,点标注方式能够很好提高标注效率。够很好提高标注效率。够很好提高标注效率。


技术研发人员:

靖振宇

受保护的技术使用者:

北京新氧科技有限公司

技术研发日:

2021.08.24

技术公布日:

2023/3/2

本文发布于:2024-09-21 04:33:51,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/63351.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   模型   部位   图像
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议